Tak zwany zamek, a raczej dawny budynek więzienia (funkcjonowało ono do czasów I wojny światowej), został wybudowany przez Prusaków około 1800 r. Po 1918 r. przebudowano go na cele szkolne.

Dawną drewniano - ziemną rezydencję obronną książąt kujawskich archeolodzy sytuują w Starym Brześciu. Na obecnym miejscu zamek starościński został prawdopodobnie wybudowany w czasach Kazimierza Wielkiego. Składał się z obwodu obronnego z budynkiem bramnym, wieżą główną i domem zamkowym, trzykondygnacyjnym na planie prostokąta 23 x 12 m. Władysław Jagiełło rozbudował zamek brzeski o dwa długie, jednokondygnacyjne domy mieszkalno-gospodarcze. Później zaś został on przebudowany w stylu renesansowym. Spalony przez Szwedów przed 1664 r. popadł w ruinę, rozebraną przez Prusaków. W piwnicach i przyziemiu obecnego budynku prawdopodobnie zachowały się szczątki budowli średniowiecznej, a w budynku gospodarczym pozostałości murów.