Costruito nel 1161 dai Genovsi su una fortificazione preesistente, il castello di Portovenere domina il borgo e la parte piů occidentale del Golfo dei Poeti. L'influenza genovese si denota nelle due parti in cui č composto il castello: il corpo basso, con portone d’ingresso principale sul borgo e il corpo alto, con struttura del XVI secolo e la sala Ipostila, dal nome degli templi antichi sostenuti da colonne.
L’evoluzione delle tecniche offensive e delle armi da fuoco causň l'aggiunta della spianata del corpo alto, probabilmente nel XVI secolo. La cinta muraria comprende tre bastioni sul mare, mentre a monte, le mura si uniscono in una torre semicircolare. La cortina č percorsa da camminamenti e garitte a feritoia.
In epoca napoleonica, la sala Ipostila fu prigione politica, dove sono ancora visibili i segni delle inferriate.