Castello prende il nome da un preesistente castello che si ergeva sull'altura a nord del paese. Oggi sono solamente visibili i resti del "Castrum Zirri", la base di una torre, un muro di cinta e massi di colore verdastro. Secondo la leggenda, il castello era possessione dei marchesi Malaspina e l'ultimo discendente fu ucciso con una fucilata dal padre di una ragazza della famiglia degli "Osti". Dovendosi sposare, la giovane doveva concedersi al Malaspina a causa dello "ius primae noctis".
Interessante l’oratorio di Sant'Agostino, con una semplice facciata dove si apre il portone sormontato da una maestà e recante la data 1672, probabilmente anno di uno dei numerosi rifacimenti subiti. All'interno a una navata, si conservano all’altare di destra un gruppo ligneo raffigurante la Visitazione; all’altare di sinistra una pala ottocentesca con la Santissima Trinità.