Ponzò si trova arroccato sulla sommità di una collina. Fu fortemente conteso nel Medioevo tra Estensi, Malaspina, Genova e Pisa, per la sua posizione strategica.
Le case costituiscono un muro di difesa che comprendeva anche un castello di cui rimangono i resti del torrione, poco distante dal quale si trova la cappella castrense di San Bartolomeo, di origine protoromanica. E' un borgo medievale di vertice sviluppatosi a cerchi concentrici probabilmente attorno ad una fortezza, di cui resta la cappella, edificio romanico dedicato a San Bartolomeo. Le costruzioni di Ponzò erano dominate da un colore violaceo dovuto ad una particolare sabbia e anche oggi si nota questa colorazione, sostenute da poderosi archi portanti e disposte in modo che le loro mura perimetrali costituissero una superficie unica e solida, interrotta soltanto dai vicoli di accesso.
Fuori dal borgo si trova la chiesa parrocchiale dedicata a San Cristoforo che risale all'inizio del XIII secolo: nel 1297 è nominata come Cappella di Podencolo ed aveva già una certa autonomia dalla Pieve di Pignone.