Il Museo è stato realizzato dopo la ristrutturazione di un’ala del Palazzo Ducale di Villa Castelli che ospita la Mostra Archeologica. Il Castello, è una costruzione a metà tra una fortezza e un palazzo gentilizio. Quello che si può osservare oggi è il risultato di una serie di modifiche che si sono susseguite già dal XIV secolo. Sono ancora visibili caratteristiche di età medievale, come l’antica torre. Parzialmente ristrutturato, oggi è anche sede del municipio e della galleria d’arte comunale. Una piccola porzione della struttura è di proprietà privata, mentre la parrocchia, dedicata al Santissimo Crocifisso nel 1830, detiene un’ala del castello (ex scuderie). La facciata meridionale conserva, totalmente inglobato nel complesso architettonico, l’antico mastio, oggi Sala del Consiglio. Il Castello è circondato a sud e a est da una profonda gravina; nel pianterreno è riconoscibile la struttura originaria e l’aspetto interno del fortilizio sino al XIX secolo. Il primo piano, ha le facciate dalle superfici rigidamente verticali, alleggerite dalle finestre. L’androne è dotato di volte a botte. Lo scalone, porta al ballatoio dal piano superiore, dove si affacciano finestre e porte ornate con cornici realizzate nel XX secolo in stile rinascimentale.