Os vestígios das Torres Arcebispais têm origem no castelo que foi construído neste mesmo local no século XII. Pouco depois, D. Fernando II doou a vila e esta fortaleza ao Arcebispo de Santiago, que a utilizou como residência quando visitou a cidade. Sofreu graves danos durante o confronto entre Alonso II de Fonseca, Arcebispo de Santiago, e Pedro Álvarez de Sotomayor, mais conhecido por Pedro Madruga, durante a guerra civil que entre 1474 e 1477 opôs os partidários de Isabel a Católica e os de Juana la Beltraneja. No início do século XVIII, Pontevedra sofreu um ataque inglês durante o qual este local foi incendiado e muito danificado, pois apenas se salvou a sua grande torre de menagem, que serviria de prisão. No final do século XIX, decidiu-se pela sua demolição. Em 2007, durante as obras de renovação desta avenida, surgiram vestígios desta fortaleza.