Основан в 1336 г. по приказу магистра Тевтонского ордена Дитриха фон Альтенбурга. Строился в качестве комтурского замка и служил форпостом Ордена для борьбы с Литвой. Относится к категории «водных» замков. Свое название получил от реки Инстер - Инстербург (крепость на Инстере).

Первоначально это был четырёх флигельный замок размерами 43x44 м. с форбургом и башней на севере. Окружающий замок пархам с оборонительной стеной с запада и юга включал в себя три башни и данцкер с юга над ручьём (позже ручей был перекрыт плотиной с мельницей и образовался пруд).

Форбург также имел три небольшие башни и мощную надвратную, находившуюся с западной стороны. Позже вокруг форбурга над обрывом была построена пархамная оборонительная стена. На площадке, образовавшейся после прорытого с запада рва, отделившего замок и форбург от нижней части плато, еще до 1370 г. был открыт трактир. Впоследствии площадка была окружена оборонительной стеной с башнями с запада и юга. Здесь же у подъёмного моста через ручей, протекающего с запада, была построена большая надвратная башня.

С появлением артиллерии, во второй половине XIV в. на главенствующих с севера и запада высотах были построены оборонительные стены, позже объединённые в единый оборонительный комплекс.

Комтурство Инстербург просуществовало недолго, и в 1347 г. Инстербург был понижен в статусе и стал пфлегерством в подчинении кёнигсбергского комтура.

Находясь в зоне конфликтов с Литвой, замок неоднократно подвергался нападениям, при этом, со второй половины XIV в. Инстербург стал важным исходным пунктом для военных походов Ордена, неоднократно принимал знатных «гостей» (крестоносцев) - известных в Европе богемских, немецких, французских и английских рыцарей (среди них - Генрих фон Дерби (в 1390 г.), впоследствии английский король Генрих IV).

Во время Тринадцатилетней войны замок Инстербург в 1457 г., захватили и сожгли отряды поляков и Прусского союза. После секуляризации Ордена в 1525 году замок был превращен в резиденцию Главного Управления округа Инстербург.

В 1583 г. поселения у замка получили от герцога Георга Фридриха городские права. В бурное XVII столетие замок был постоянно объектом нападений и местом прибежищ. В этот период его часто посещали властвующие курфюрсты, а шведская королева Мария Элеонора жила в замке Инстербург с 1643 г. по 1648 г., что способствовало развитию города.

В XVIII-XIX веках в замке Инстербург поочерёдно располагались земельный суд, склад военного фуража и продовольствия, лазарет на 200 коек (во время кампании Наполеона), казарма эскадронов улан.

Всё это приводило к многочисленным изменениям в его внешнем облике - от комплекса сохранились лишь стены цитадели, постройки в форбурге и одна угловая башня Пайнтурм, при этом часть оборонительных стен была снесена.

После Первой мировой войны в отдельных помещениях цитадели замка находились отделы полиции, а в большей части был устроен музей краеведения Инстербургского Общества древностей (12 коллекций). Форбург продолжал оставаться в ведении земельного суда. В 1945 г. замок Инстербург во время штурма города пострадал от пожара.

После войны в замке разместилась воинская часть. Большая часть зданий форбурга была разобрана на кирпич, а цитадель предположительно в 1949 г. была практически полностью уничтожена пожаром. В начале 1950-х гг. территория была передана РСУ № 1.

До наших дней замок дошёл в полуразрушенном состоянии. Сохранились здание форбурга, здание бывшей конюшни и часть оборонительной стены. От цитадели осталась лишь коробка наружных стен. Последняя башня замка Пайнтурм была разобрана для организации проезда во внутренний двор после 1964 г.

С 1997 г. на территории замка Инстербург работает группа энтузиастов, объединившаяся в 1999 г. в некоммерческую организацию «Фонд «Дом-Замок». С 28 октября 2010 г. замок является собственностью Русской Православной Церкви.

В настоящее время замок Инстербург развивается как «Общественный исторический парк» - региональная научная, культурная, образовательная и коммуникационная площадка - многофункциональное, социокультурное, интерактивное пространство.

В рамках деятельности НКО «Фонд «Дом-Замок» на территории замка организованы и функционируют на постоянной основе:

• историческая лаборатория;

• центр прикладной культурологии;

• центр международного молодёжного сотрудничества;

• музейная экспозиция – история старого города, диорама Грос-Егерсдорфского сражения;

• молодежный театр «Белая Роза»;

• художественная галерея – клуб истории и искусств;

• ремесленные мастерские;

• детская игровая образовательная площадка.

Ежегодно реализуется множество проектов и программ, имеющих региональное и международное значение, среди них: «Инстер-Форум», «Разноцветная Провинция», «Тевтонский орден: история и современность» и др. Проводятся Фестивали «Замок Сказок», «Рыцарский Призыв», «Insterfest», «Музейный пикник», «Музейная ночь»; театральная лаборатория «Грани Тысячелетий», научно-практические конференции и семинары, форумы по стратегическому развитию территории и стар-тап-проектам.