Situato sopra un'altura, alla base della quale si trova il borgo omonimo, il castello di Ponzanello è oggi ridotto a un possente rudere. Fin dall'origine fu sede preferita di molti vescovi lunensi, in seguito fu proprietà dei Malaspina di Fosdinovo, della Verrucola e di Gragnola e per un breve periodo nel XIII secolo anche dell'imperatore Federico II.
La prima documentazione scritta del castello risale al 1185 nel Codice Pelavicino, una raccolta membranacea del XIII secolo conservata nell'Archivio Capitolare di Sarzana.
Oggi rimangono alcuni resti della primitiva cerchia muraria con tre portali di accesso. Il castello fu costruito in più fasi e oggi i ruderi sono delle ultime ristrutturazioni, databili approssimativamente tra il XVI e XV secolo.