Os vestixios das Torres Arzobispais teñen a súa orixe no castelo que se construíu neste mesmo lugar no século XII. Pouco despois, o rei Fernando II doou a vila e esta fortaleza ao arcebispo de Santiago, quen a utilizou como residencia cando visitaba a cidade. Sufriu graves danos durante o enfrontamento entre Alonso II de Fonseca, arcebispo de Santiago, e Pedro Álvarez de Sotomayor, máis coñecido como Pedro Madruga, durante a guerra civil que entre 1474 e 1477 enfrontou aos partidarios de Isabel a Católica e aos de Juana la. Beltraneja. A principios do século XVIII, Pontevedra sufriu un ataque inglés durante o cal este lugar foi queimado e quedou moi deteriorado, xa que só se salvou o seu gran torreón, que sería utilizado como prisión. A finais do século XIX decídese a súa demolición. No ano 2007, durante as obras de reforma desta avenida, aparecen restos desta fortaleza No ano 2010 inaugurouse o Centro de Interpretación.