Nonostante il castello venga detto Normanno-Svevo, la sua prima fase costruttiva non risale ai tempi di Ruggero I come è tramandato dalle tradizioni popolari, ma all'epoca di Federico II; venne ampliato sempre nel XIII secolo dagli Angioini. Nel '500 subì qualche leggera modifica per l'adattamento a residenza. Danneggiato da un terremoto alla fine del XVIII secolo, venne utilizzato come prigione. Dal 1969 ospita il Museo archeologico statale, intitolato al conte Vito Capialbi, che nel XIX secolo fu studioso e archeologo della zona.

L'allestimento attuale segue un ordine cronologico e topografico e comprende materiali provenienti dalla città e dalle zone archeologiche nei dintorni, arricchite da alcune collezioni otto-novecentesche donate da studiosi locali.