Los vestigios de las Torres Arzobispales tienen su origen en el castillo que se levantó en este mismo lugar en el siglo XII. Poco después el rey Fernando II dona la villa y esta fortaleza al arzobispo de Santiago, que la utiliza como residencia cuando visita la ciudad. Sufrió graves daños durante el enfrentamiento entre Alonso II de Fonseca, arzobispo de Santiago, y Pedro Álvarez de Sotomayor, más conocido como Pedro Madruga, durante la guerra civil que entre los años 1474 y 1477 enfrentó a los partidarios de Isabel la Católica y a los de Juana la Beltraneja. A comienzos del siglo XVIII Pontevedra sufre un ataque inglés durante el cual este lugar es incendiado y queda muy deteriorado, pues tan sólo se salva su gran torre del homenaje que será utilizada como cárcel. A finales del S.XIX se decide su demolición. En el año 2007, en obras de reforma de esta avenida aparecen restos de esta fortaleza  En el año 2010 se inaugura el Centro de Interpretación.