Il castello è posto sulla sommità di un colle sul quale si estende il centro storico, non lontano dalla linea di costa, di cui domina l’ampia piana.  Esso  fu fatto costruire da Federico II tra il 1220 ed il 1225, cui seguì in tempi rapidi lo sviluppo del centro abitato. In seguito il castello fu ampliato da angioini ed aragonesi che ne adattarono le difese ai progressi tecnologici ed all’architettura del tempo.

Il castello evidenzia una pianta di forma quadrangolare con un mastio poligonale a scarpa protetto da una torre a sezione cilindrica federiciana ad ovest, da una torre amigdaloide aragonese a nord-ovest, dalla torre “Polveriera” a nord-est  e da quella simile di sud-est con base troncoconica finemente decorata da beccatelli e cinta da merli e caditoie.

Parti rilevanti dell’architettura del castello sono ancora il bastione della cittadella, il portale di ingresso federiciano, le cucine, la piazza d’armi, il fossato, le scuderie ed  il palazzo settecentesco, costruito a partire dal 1717.