De todos os pazos de Vilagarcía, o de Vistalegre é o único que conta coa declaración de Monumento Histórico Artístico. O edificio afunde as súas raíces na fundación mesma de Vilagarcía, pois foi entón, a mediados do século  XV, cando García de Caamaño decidiu construír unha torre neste lugar desde a que dominaría o recentemente creado burgo e porto.

Pasados os anos, un incendio destruíu a edificación, que daría lugar ao actual pazo, levantado cara a 1545, cando se  instituíu o morgado de Vistalegre, por iniciativa de Álvaro Gómez de Sotomayor, neto do fundador, pero sobre todo polo empeño e a axuda económica do irmán de Álvaro, Rodrigo de  Mendoza, abade de  Teverga (Asturias) e capelán de Carlos V.

Ocupando boa parte do antigo castro de Alobre, situado nun alto e ao pé das marismas do río do Con e do antigo Camiño Real que unía Cambados con Vilagarcía e esta con Santiago, Vistalegre ofreceu a imaxe dun gran casa con dúas torres laterais durante case cen anos, ata que un raio derrubou a torre sur.

Vistalegre foi reformado no século  XVII e novamente no  XVIII, tomando nesa época os trazos barrocos que hoxe o caracterizan. Un inventario de 1633 daba conta da suntuosidade do interior, con óleos e tapices flamencos e italianos. Os escudos representan as armas dos Caamaño,  Mendoza e Sotomayor, ademais dos símbolos arcebispais de Andrade, coas bandeiras  flordelisadas en homenaxe a outro Andrade, o conde de Pontedeume, que gañara a batalla de  Seminara aos franceses en 1503.

A principios do século  XX, o pazo foi sede do viceconsulado británico, para ser propiedade despois dun rico indiano, Andrés Fernández, propietario da maior mina de prata de México. Nos anos 20, o pazo volveu aos seus antigos donos, os marqueses de Vilagarcía, encarnados agora pola familia Barrio.