La struttura che oggi ammiriamo, grande circa mq 14.100, è detta Castello Angioino-Aragonese perché è composta da due edifici comunicanti realizzati in due momenti storici diversi, uno più in basso detto "Angioino", realizzato durante la dominazione francese degli angioini, e uno più in alto detto "Aragonese", fatto costruire dall'imperatore Carlo V insieme a tutte le altre opere di difesa militare che andarono a rafforzare la Piazzaforte di Gaeta.