Il Palazzo si trova sul luogo del cinquecentesco Monastero delle Paolotte e dell'adiacente Chiesa dell'Annunziata e venne riprogettato nella seconda metà del Settecento. A volerne i lavori fu il vescovo Alfonso Sozy-Carafa, che ne affidò disegno e realizzazione a Emanuele Manieri e Oronzo Carrozzo. Il Palazzo è a tre piani e ha una struttura a forma di elle. La facciata è ritmata da lesene corinzie e da una serie di finestre. Dalla fine dell'Ottocento l'edificio ospita l'Amministrazione Comunale.