Fue construido por el I Duque de Afonso, hijo ilegítimo del rey João I. Su construcción comenzó entre 1420 y 1433, en la época del matrimonio de D. Afonso con D. Constança de Noronha.

Se cree que, durante parte del siglo, el palacio se siguió utilizando como residencia de los Duques de Bragança, pero luego cayó gradualmente en una fase de abandono y ruina. En el siglo XIX, en la época de las invasiones francesas, el Paço fue convertido en cuartel militar. Y en el siglo siguiente, en pleno régimen del Estado Novo, el Paço dos Duques fue reconstruido entre 1937 y 1959. Fue inaugurado en 1959, año en que se convirtió en el Palacio Oficial del Presidente de la República en el norte del país.

Hoy es un museo, y las que lo decoran pretenden crear la ilusión de que el visitante entra en una casa habitada. Destacan las colecciones de tapices muebles, cerámicas, pinturas y armería.