Il castello si erge 20 metri sulla spiaggia antistante l’omonimo promontorio, lungo la via costiera che unisce Taranto a Reggio Calabria.

In età normanna è attestato già un primo insediamento fortificato di cui sono traccia i resti di una delle torri. La prima notizia relativa al castrum Roseti risale a Federico II di Svevia (1220-1250) il quale ordina ad un suo funzionario di restaurare il tetto in modo da non rovinare i dipinti.  Interventi di ristrutturazione risalgono al periodo di Carlo I d’Angiò (sec. XIII) e poi a quello aragonese.

La parte architettonica consta di una torre quadrangolare con una sala voltata di età normanna mentre il piano rialzato risulta eseguito in età aragonese. Segue a sud una grande torre merlata cui è addossata una contro torre pensile entrambe relative ad età sveva. Nel settore di NO figurano una grande torre quadra, munita di una porta archiacuta con due grandiose bifore ed una torretta  davanti cui era collegato il ponte levatoio.

Dal 1987 il castello è di una società privata che con il supporto del MIBACT ha effettuato i lavori di recupero e restauro.