Foi construído polo I Duque de Afonso, fillo ilexítimo do rei Xoán I. A súa construción comezou entre 1420 e 1433, no momento do casamento de D. Afonso con D. Constança de Noronha.

Crese que, durante parte do século, o pazo continuou a ser a residencia dos duques de Braganza, pero despois pasou gradualmente a unha fase de abandono e ruína. No século XIX, na época das invasións francesas, o Paço foi reconvertido en cuartel militar. E no século seguinte, en pleno réxime do Estado Novo, o Paço dos Duques foi reconstruído entre 1937 e 1959. Inaugurouse en 1959, ano no que se converteu no Pazo Oficial do Presidente da República no norte do país.

Hoxe é un museo, e os que o decoran pretenden crear a ilusión de que o visitante está entrando nunha casa habitada. Destacan as coleccións de tapices, mobles, cerámicas, pinturas e armería.