Il castello sorge sul punto più alto del paese, in posizione strategica per controllare il territorio circostante. La sua costruzione è iniziata probabilmente nella prima metà del XVI secolo ad opera della famiglia Domini Roberti per la difesa del casale di Palagianello, terminata, ma non del tutto, nel XVIII secolo sotto il dominio dei Caracciolo, in quanto la torre posta a Nord-Ovest è ancora incompiuta. Il castello ha massiccia pianta quadrangolare, munito di quattro torrioni agli angoli e di un cortile centrale, in alto è merlato tutto intorno con la presenza di numerose feritoie.L’ingresso attuale è posto sul lato sud, mentre originariamente era ubicato ad ovest e vi si accedeva mediante un ponte levatoio situato sopra un fossato, ancora oggi esistente, che costeggia l’intero lato ovest e parte del lato nord. Il ponte levatoio è stato sostituito da un ponte in muratura a due archi. In corrispondenza dell’ingresso al piano superiore si trova un vasto salone di rappresentanza. Nel piano inferiore sono situati i magazzini e le stalle mentre in quello superiore si trovano i locali che erano adibiti ad abitazione del feudatario; in una stanza al piano terra è localizzata una botola che porta ad un passaggio segreto che sfocia nella gravina di Palagianello. Nel 1874 il vecchio ingresso venne chiuso per ricavarne una cappella in onore della Vergine dei sette dolori progettata dall’architetto Gabriele Califano, su commissione del conte Antonio Stella Caracciolo. La Cappella è stata data in uso perpetuo dal Conte Caracciolo alla Confraternita dell’Addolorata. Il castello è monumento nazionale dal 1924, mentre dal 1979 fa parte del patrimonio del Comune di Palagianello.