Del Castelvecchio, posto sulla collina pianeggiante che sovrasta la
pieve romanica di Santo Stefano, è visibile, all'interno del bosco di robinie, un avvallamento, che divide la punta della collina dalla sua prosecuzione orientale. Tra il V e il VII secolo vi fu costruito un rifugio fortificato, costituito da due valli affiancati profondi e larghi due metri, sormontato da una palizzata. All'interno sono state trovate tracce di edifici in legno, alcuni frammenti di ceramica nuda depurata ed un piccolo frammento di vetro attribuibili all'Alto Medioevo. Ceramiche grezze foggiate a mano, anfore tirreniche e ceramiche a vernice nera quasi irriconoscibili, databili alla seconda Età del Ferro sono invece state ritrovate nell’avvallamento. Non vi sono tracce di uso posteriori al VII secolo. Potrebbe trattarsi di un'opera difensiva realizzata dai Liguri Apuani durante le guerre con i Romani, ma non sembra che i Liguri conoscessero queste tecniche militari, mentre ad essi può essere più facilmente attribuito l'approfondimento del vallo naturale che a nord collega la collina con il grande terrazzo.
Castelvecchio deve essere anteriore al
castello di San Giorgio, che si ritiene usato tra l'XI secolo e gli inizi del XIII. Va quindi preso in considerazione il periodo che va dalla fine dell'Impero Romano al X secolo. Opere difensive, in tale arco di tempo, possono essere giustificate dal punto di vista politico-militare sia nei secoli VI e VII, con la guerra gotico-bizantina e il limes bizantino longobardo, sia nei secoli IX e X, quando numerose fortificazioni vennero costruite in Italia settentrionale a seguito delle incursioni dei Saraceni e degli Ungari.
