Il Palazzo Baronale, sede storica del potere politico, è stato trasformato prima in seminario poi in convento delle suore di Santa Chiara. Si affaccia a strapiombo sulla gravina, e fu sede dei baroni che dal '500 alla fine del '700 dominarono su Castellaneta. Non si conosce con esattezza l'epoca di fondazione del palazzo che, probabilmente, sorge sul luogo ove era l'antico castello dei Normanni. Nel corso dei secoli l'edificio ha subito diversi rimaneggiamenti. Nel XVI-XVII secolo, per esempio, fu ristrutturato ed ampliato forse ad opera dei principi Bartirotti. Un altro restauro si ebbe nell'Ottocento, dopo il 1829 anno in cui il vescovo mons. Pietro Lepore acquistò il palazzo dai De Mari, ultimi baroni della città, per adibirlo a Seminario diocesano, inaugurato nel 1838. Attualmente ospita le monache clarisse ivi trasferite dopo la chiusura del pericolante monastero di S. Chiara. L'edificio si presenta come un palazzotto fortificato, a pianta quadrata con poderoso basamento. La facciata è caratterizzata dal semplice portale; interessanti le finestre che si aprono sul fianco meridionale decorate da cornici con capitelli figurati. Si accede all'interno attraverso un breve androne a sinistra del quale è ubicata la Cappella, un semplice ambiente rettangolare con volta a botte. Al centro dell'edificio vi è un ampio cortile decorato da eleganti cornici marcapiano e da alcuni stemmi delle nobili famiglie che dominarono la città. Interessanti all'interno l'ampio salone di rappresentanza al piano nobile e gli ambienti prospicienti la gravina in cui è possibile osservare elementi architettonici risalenti al Medioevo.