I primi dati storici risalenti al 1139 si riferiscono al raggiungimento del controllo di Porto Venere da parte della Repubblica di Genova, mentre della reale fortificazione non esistono fonti note. Oggi, di proprietà del comune di Porto Venere, dopo accurati lavori di restauri è divenuta sede di mostre d'arte per diverse manifestazioni che si svolgono nell'arco dell'anno.
Il forte ha una pianta a forma di pentagono da cui sporgono sui salienti a valle tre bastioni, mentre in quelli rivolti a monte domina un robusto torrione circolare; quest'ultima struttura faceva già parte del precedente castello medievale. I bastioni avevano il compito di controllare gli accessi al borgo e dal mare antistante; il corpo costruito nel XVI secolo, posto più a monte, doveva invece garantire la sicurezza da eventuali pericoli provenienti dai monti che circondano Porto Venere.
L'accesso alla fortezza avveniva tramite un ponte levatoio, oggi non più presente, le cui fessure di scorrimento per i tiranti sono ancora oggi ben visibili; l'accesso attuale è attraverso un imponente portale. All'interno della fortezza cinquecentesca, alla quale si accede tramite un corridoio voltato e una scala coperta, si trova una Sala ipostila la cui copertura è sostenuta da colonne. Sopra di essa è la casa del castellano locale che, dal XVI al XVII secolo, fu sede del Capitano del popolo.