De todos os casarões de Vilagarcía, Vistalegre é o único que foi declarado Monumento Histórico-Artístico. O edifício tem as suas raízes na própria fundação de Vilagarcía, desde então, em meados do século XV, quando García de Caamaño decidiu construir neste local uma torre a partir da qual dominaria a recém-criada vila e porto.
Com o passar dos anos, um incêndio destruiu o edifício que daria origem ao actual solar, construído por volta de 1545, altura em que foi criado o mayorazgo de Vistalegre, por iniciativa de Álvaro Gómez de Sotomayor, neto do fundador, mas sobretudo por o esforço e ajuda nos assuntos económicos do irmão de Álvaro, Rodrigo de Mendoza, abade de Teverga (Astúrias) e capelão de Carlos V.
Ocupando boa parte do antigo forte de Alobre, situado numa colina e no sopé dos pântanos do rio Con e do antigo Caminho Real que ligava Cambados a Vilagarcía e esta a Santiago, Vistalegre oferecia a imagem de uma mansão com duas laterais torres durante quase cem anos, até que um raio derrubou a torre sul.
Por volta de 1645, um neto de Dom Álvaro, Fernando de Andrade, arcebispo de Santiago, ordenou a construção do convento agostiniano. Foi então que a torre foi novamente erguida, mas agora no topo do convento, e quando o solar e a igreja foram unidos pela sua característica passagem em arco.
Vistalegre foi renovada no século XVII e novamente no século XVIII, assumindo os traços barrocos que hoje a caracterizam. Um inventário de 1633 mostrou a suntuosidade do interior, com pinturas a óleo e tapeçarias flamengas e italianas. Os escudos representam as armas dos Caamaño, Mendoza e Sotomayor, além dos símbolos arquiepiscopais de Andrade, com as bandeiras flordelizadas em homenagem a outro Andrade, o conde de Pontedeume, que venceu a batalha de Seminara contra os franceses em 1503.
No início do século XX, o solar foi sede do vice-consulado britânico, mais tarde propriedade de um rico indiano, Andrés Fernández, dono da maior mina de prata do México. Na década de 1920, o solar regressou aos seus antigos proprietários, os Marqueses de Vilagarcía, agora encarnados pela família Barrio.