Il castello si trova all’estremità occidentale di San Terenzo, su uno sperone roccioso detto La Bastia. In origine, nel X-XI secolo, si trattava di una piccola torre merlata a difesa del borgo contro le incursioni dei pirati Barbareschi.
Completato nel XV secolo, oggi si presenta con una cinta muraria esterna di forma pentagonale, con la parte rivolta all'abitato difesa da tre torri circolari con base a scarpa. All’interno delle mura si trova una seconda struttura difensiva con una torre a guardia dell'ingresso. La fortificazione è dominato da un imponente torrione quadrato, con merlatura sostenuta da beccatelli a sezione quadrata.
Dopo aver assolto alla funzione di difesa dagli attacchi provenienti dal mare, il castello divenne quindi complemento difensivo della fortezza di Lerici.