Il nucleo più antico del Palazzo Zagarese (dal nome di una delle famiglie notabili del casentino proprietaria del palazzo e di molti altri beni immobili) all'interno del quale è ospitato il Museo, pare risalga al 1695. Dopo il terremoto del 1854 l'edificio venne modificato; ad esso vennero aggiunti un doppio loggiato con arcate (nella parte inferiore) un colonnato con capitelli dorici neoclassici (nella parte superiore) ed un terrazzo. L'edificio gira intorno ad un cortile. Dal 1980 ospita, nell'ala destra, il museo. Lavori di restauro hanno interessato la struttura dal 2001 al 2002. Il museo è composto da nove sale, si sviluppa in un piano terra rialzato con ingresso a scalinata ed un primo piano. Il museo è articolato in due sezioni: folklore la pinacoteca, intitolate rispettivamente a Raffaele Lombardi Satriani e Achille Capizzano