Sin dalla sua istituzione, il Conservatorio si stabilì nell'antica abitazione della nobile famiglia Verardi designata quale sua sede dallo stesso Bernardino Verardi, per lascito testamentario del 1679. Il principale obiettivo del Conservatorio era quello di accogliere nobili donne leccesi che amassero ritirarsi a vita privata, nell'esercizio delle pratiche religiose ed ogni altra forma contemplativa e operativa.
L'antico palazzo Verardi, sorge su un'area antichissima dove esistono cisterne e vecchi depositi per granai nel sottosuolo. Dopo la costruzione della chiesa di Sant'Anna, il vescovo Alfonso Sozy Carafa, nel 1764, decise di ampliare e ristrutturare l'edificio. L'ampliamento, affidato all'architetto Emanuele Manieri, avvenne tramite accorpamenti di nuovi vani acquisiti dagli edifici vicini. L'operazione più rilevante della ristrutturazione fu la realizzazione del nuovo prospetto che fu arricchito da una rampa di scale e da un raffinatissimo portale sormontato dagli stemmi delle famiglie fondatrici del Conservatorio (Verardi e Paladini). La presenza di testine d'angelo ricorda la sacralità del luogo.
Il cortile del palazzo custodisce un ficus plurisecolare.