Il Castello, situato in cima al colle di San Giusto, sorge nelle vicinanze di alcuni resti di epoca romana corrispondenti ad una Basilica e ad un Foro. La costruzione del Castello avvenne per volere dell’imperatore Federico III, a partire dal 1470, per ospitare il Capitano Imperiale, posto a controllo della città. L’edificio era composto da una costruzione rettangolare a due piani, con adiacente una torre. Questa struttura era la residenza del Capitano e presentava anche un cortile. Nei secoli successivi, venne edificata, intorno a questo primo nucleo, la struttura triangolare del Castello. Nei primi anni del Cinquecento venne realizzato, ad opera di Venezia, il bastione di forma circolare che inglobava la precedente torre quattrocentesca. Verso la metà del Cinquecento, per volere del Capitano Imperiale in carica, Giovanni de Hoyos, venne costruito un nuovo bastione, progettato da Domenico Lalio secondo una pianta poligonale. I lavori di completamento del Castello giungono a termine con la realizzazione di un ultimo bastione triangolare, su un progetto di Pietro de Pomis del 1630. L’edificio perde la sua originaria funzione di residenza per i Capitani Imperiali a metà del Settecento. In quel periodo, infatti, ricopriva la carica Niccolò Hamilton, il quale decise di spostarsi nel centro della città, in un palazzo che si trovava al posto dell’odierno Tergesteo. Il Castello venne utilizzato come caserma e carcere. Nel 1930 il Comune diventò proprietario dell’edificio e commissionò l’avvio di consistenti lavori di restauro, per eliminare le aggiunte ottocentesche.