W czasach staropruskich, w tym było grodzisko Jaćwingów..
Od 1654 r. w tym miejscu był zamek, to jest siedziba starostów książęcych. W 1752 r. w budynkach zamkowych była umieszczona siedziba stadniny królewskiej. W 1822 r. zamek spłonął całkowicie. Nie został on już odbudowany. W 1897 r. na jego ruinach został zbudowany budynek starostwa powiatowego.
Dziś w tym budynku jest szkoła ponadpodstawowa – Zespół Szkół Technicznych w Olecku. Na drugim piętrze znajduje się Olecka Izba Pamięci.
Możesz w niej obejrzeć między innymi egzemplarze broni strzeleckiej, wyposażanie wojsk piechoty, przedmioty i narzędzia codziennego użytku, zdjęcia Ziemi Oleckiej i jej mieszkańców oraz zbiór fotokopii dokumentów administracji powiatowej w Olecku z lat 1945-1946.
W jednym z pomieszczeń Izby są eksponaty, fotografie i kroniki, które upamiętniają działalność oleckich harcerzy.
