De todos los pazos de Vilagarcía, el de Vistalegre es el único que cuenta con la declaración de Monumento Histórico Artístico. El edificio hunde sus raíces en la fundación misma de Vilagarcía, pues fue entonces, a mediados del siglo XV, cuando García de Caamaño decidió construir una torre en este lugar desde la que dominaría el recién creado burgo y puerto.

Pasados los años, un incendio destruyó la edificación, que daría lugar al actual pazo, levantado hacia 1545, cuando se instituyó el mayorazgo de Vistalegre, por iniciativa de Álvaro Gómez de Sotomayor, nieto del fundador, pero sobre todo por el empeño y la ayuda económica del hermano de Álvaro, Rodrigo de Mendoza, abad de Teverga (Asturias) y capellán de Carlos V.

Ocupando buena parte del antiguo castro de Alobre, situado en un alto y al pie de las marismas del río del Con y del antiguo Camino Real que unía Cambados con Vilagarcía y ésta con Santiago, Vistalegre ofreció la imagen de un caserón con dos torres laterales durante casi cien años, hasta que un rayo derribó la torre sur.

Hacia 1645, un nieto de don Álvaro, Fernando de Andrade, arzobispo de Santiago, ordenó construir el convento de agustinas. Fue entonces cuando la torre fue levantada de nuevo, pero ahora sobre el convento, y cuando pazo e iglesia quedaron unidos por su característico arco-pasadizo.

Vistalegre fue reformado en el siglo XVII y nuevamente en el XVIII, tomando en esa época los trazos barrocos que hoy lo caracterizan. Un inventario de 1633 daba cuenta de la suntuosidad del interior, con óleos y tapices flamencos e italianos. Los escudos representan las armas de los Caamaño, Mendoza y Sotomayor, además de los símbolos arzobispales de Andrade, con las banderas flordelisadas en homenaje a otro Andrade, el conde de Pontedeume, que ganó la batalla de Seminara a los franceses en 1503.

A principios del siglo XX, el pazo fue sede del viceconsulado británico, para ser propiedad después de un rico indiano, Andrés Fernández, propietario de la mayor mina de plata de México. En los años 20, el pazo volvió a sus antiguos dueños, los marqueses de Vilagarcía, encarnados ahora por la familia Barrio.