Il castello Carlo V sorge nel cuore del capoluogo salentino a pochi passi da Piazza Sant'Oronzo. Fortemente rimaneggiato nel corso dei secoli (il fossato fu colmato nel 1872), conserva l’originale impianto trapezioidale con bastioni angolari a punte lanceolate. Due corpi concentrici, risalenti ad epoche differenti e separati da un cortile intermedio svelano le stratificazioni storiche ed architettoniche del castello: all’interno dell’edificio un corpo centrale risalente al XII secolo, dunque anteriore alla data di costruzione dell’edificio cinquecentesco; risulta inoltre inglobato il Mastio quadrangolare, la cosiddetta Torre Quadrata, probabilmente angioino (XIV).
Si accede all’interno da due ingressi: quello principale, orientato a Nord-Ovest (rivolto verso la città) e sormontato dallo stemma lapideo di Carlo V; sul lato opposto, verso la campagna, la seconda porta (Porta Falsa); entrambe erano dotate di ponte levatoio.
Il castello si articola su più piani: i sotterranei, in funzione di contromine; il piano di calpestio con il cortile, forse destinato agli ambienti di servizio ed il piano superiore con i vani residenziali.
Dopo aver funzionato a lungo come distretto militare, il castello ospita oggi numerose mostre d’arte ed altre iniziative culturali.