Paço dos Távoras atópase na parroquia e lugar de Mirandela, concretamente na zona vella no punto máis alto do monte, antigamente chamado S. Miguel, hoxe Praza Municipal, con vistas privilexiadas ao río Tua e á Ponte Vella.
A importancia dos Távora en Trás-os-Montes, e particularmente na comarca de Mirandela, queda ben reflectida nos privilexios concedidos polos monarcas. A casa, onde, ao contrario do que se practicaba outras familias fidalgas, permaneceron durante moito tempo os Távora, tiña que reflectir todo o prestixio e poder do que gozaba a familia. Así debe entenderse a profunda remodelación da fachada, realizada a principios do século XVIII, que transformou o edificio nun escenario grandioso, no que o escudo dos seus propietarios ocupaba un lugar destacado. As orixes da casa son, porén, moito máis antigas.
A residencia máis antiga sería unha torre medieval de 1282, debidamente adaptada, que foi destruída para dar paso a outro edificio, máis acorde ás necesidades da familia (Rodrigues, 1997, p. 164). A importante intervención no Pazo foi a iniciativa do marqués António Luís de Távora que en 1709 contratou aos mestres canteiros Manuel Alves e Domingos Pereira, veciños de Mirandela, para a nova fachada, dando como resultado unha fachada tipicamente arquitectónica , excesivamente decorado. O proxecto entregado aos canteiros debeu vir de Lisboa e é moi probable que fose deseñado polo arquitecto João Antunes.
João Antunes (1643-1712) foi un arquitecto portugués, considerado un dos máis importantes do período barroco en Portugal. Foi, naquel momento, arquitecto da corte portuguesa onde a familia Távora tivo unha considerable influencia, e a súa obra principal foi. a Igrexa de Santa Engrácia en Lisboa, pero tamén a Igrexa do Menino de Deus en Lisboa, a Igrexa do Bom Jesus en Barcelos e moitas outras obras de influencia italiana.
A fachada principal do Pazo é onde se concentra todo o dinamismo, os valores da arquitectura civil do século XVIII, coa tendencia horizontalizadora da casa alongada, dividida por columnas, pero tamén observamos a persistencia de diversos tradicionalismos, como a memoria da casa torre, e a acentuada verticalidade do corpo central, de tres plantas.
Na parte superior do corpo, o remate central está formado por aletas e un cartucho que mostra o escudo de Távora, que foi cortado tras a desgraza sufrida polos Távora, acusados de intento de rexicidio, en 1758. O escudo, xa destruído, foi substituído en 1863 polo dos Condes de São Vicente, que tomaron posesión do Palacio, deixando o edificio abandonado e en ruínas. Este escudo é o que aínda hoxe se conserva.
Xunto ao Pazo e polo lado norte, había unha Capela de advocación á Nosa Señora dos Prazeres, construída tamén por orde do marqués Luís Álvares de Távora, no ano 1664, que levaba no escudo de Távora. lintel. , tamén ordenou ser picado pola sentenza inicua que os condenaba.
O abandono do Pazo estendeuse tamén á Capela, e en 1818, cando estaba en ruínas, a imaxe da Nosa Señora de Prazers foi entregada á Santa Casa da Misericordia de Mirandela, coa respectiva coroa e campá de prata o altar e a imaxe no interior da Igrexa e a campá da fachada.
No ano 1890 o Pazo foi posto á venda en poxa xudicial, sendo adquirido por un particular, que realizou unhas obras de mellora no mesmo, sendo adquirido en 1903 polo Concello de Mirandela, poñendoo a disposición do Ministerio de Guerra, que tamén o vendeu no mesmo ano, coa intención de utilizalo para funcións militares, realizando importantes obras, con reformas considerables en todo o seu interior.
Entre 1910 e 1912 instalouse alí a sede do Concello, coa administración do concello na planta baixa, e a de agricultura á esquerda; no segundo andar, á dereita, a Casa do Concello e, á esquerda, o xulgado de xustiza e a Secretaría de Facenda;
En 1936 instalouse en parte do edificio o Liceu Municipal Doutor Álvaro Soares.
Na actualidade alberga a Casa do Concello nas súas tres plantas.
No adro do Pazo, e no muro do arco central pechado, hai un panel de tella datado en 1956, con representación do escudo de Vila de Mirandela, elevado á categoría de cidade o 16 de maio de 1984. Tamén conta cunha representación da insignia da Torre da Espada á que foi adxudicada no seu momento a vila, dada a súa forte participación na defensa da República cando se instalou en Portugal, polo que, por Decreto do Goberno, foi concedida. a Mirandela recibiu a oficialidade da Orde e Torre da Espada do Valor, Lealdade e Mérito, pola tenaz resistencia da súa poboación e a heroica defensa da súa pequena guarnición, durante o movemento monárquico de 1919.
No ano 1994, o espazo que rodea o Pazo foi obxecto dun importante traballo urbanístico, que continúa baixando o xardín elevado do Pazo (parte do que quedaba do castelo orixinal) á planta baixa.