As raízes do Pazo de Vilar de Francos remontam ao tempo de Carlos V, há cinco séculos. Foi construído em torno de uma antiga torre defensiva, do século XVI, e está inserido numa grande quinta rodeada por uma muralha real com ameias.

A visita vale definitivamente a pena: um complexo constituído pelo imponente palácio, construído maioritariamente no século XVII, tendo no centro a torre de quatro andares, um belo jardim, a casa dos senhorios, um antigo celeiro, uma cruz e a capela dedicada a Santo António de Pádua.

Durante a vida do marquês, a festa de Santo Antón, no dia 13 de junho, servia para abrir as portas do palácio ao bairro. Já fora dos muros, numa quinta próxima, encontra-se o carvalho de Santo Antón, que já tem várias centenas de anos.

O marquesado de Vilar de Francos nasceu no tempo de Carlos V, e tem origem no casamento de um membro da família Pardiñas, que possuía um terreno na torre de Pardiñas, com uma senhora da família Vilar de Francos. Desta família pertence Fabián Pardiñas Vilardefrancos, poeta galego do século XVII que se tornou reitor da catedral de Santiago. No século XIX, o palácio seria comprado pelos marqueses da Atalaia.

O último Marquês de Atalaia a viver no palácio, José Antonio Martínez de Pisón, era militar e lutou pelo lado franquista na Guerra Civil. Foi salvo do conhecido naufrágio do navio Castillo de Olite, no qual morreram mais de mil pessoas. A embarcação foi afundada pelo exército republicano em 1939, quando se dirigia para Cartagena.