Paço dos Távoras está situado en la parroquia y lugar de Mirandela, concretamente en la zona antigua en el punto más alto de la colina, antiguamente llamado S. Miguel, hoy Plaza del Municipio, con vistas privilegiadas al río Tua y al Puente Viejo.

La importancia de los Távora en Trás-os-Montes, y en particular en la región de Mirandela, queda bien reflejada en los privilegios concedidos por los monarcas. La casa, donde, contrariamente a la práctica de otras familias nobles, los Távora se alojaban durante mucho tiempo, debía reflejar todo el prestigio y poder del que gozaba la familia. Así debe entenderse la profunda remodelación de la fachada, llevada a cabo a principios del siglo XVIII, que transformó el edificio en una grandiosa escenografía, en la que el escudo de sus propietarios ocupaba un lugar destacado. Los orígenes de la casa son, sin embargo, mucho más antiguos.

La residencia más antigua sería una torre medieval de 1282, debidamente adaptada, que fue destruida para dar paso a otra edificación, más acorde a las necesidades de la familia (Rodrigues, 1997, p. 164). La importante intervención en el Palacio se debió a la iniciativa del Marqués António Luís de Távora quien, en 1709, contrató a los maestros canteros Manuel Alves y Domingos Pereira, vecinos de Mirandela, para la nueva fachada, dando como resultado una fachada de arquitectura típicamente barroca,  excesivamente decorada. El proyecto entregado a los canteros debió provenir de Lisboa y es muy probable que haya sido diseñado por el arquitecto João Antunes.

João Antunes (1643-1712) fue un arquitecto portugués, considerado uno de los más importantes del periodo barroco en Portugal, fue en su momento, arquitecto de la corte portuguesa donde la familia Távora tenía considerable influencia, y su obra principal fue la Iglesia de Santa Engrácia de Lisboa, pero también la Iglesia do Menino de Deus de Lisboa, la Iglesia do Bom Jesus de Barcelos y muchas otras obras de influencia italiana.

La fachada principal del Palacio es donde se concentra todo el dinamismo, los valores de la arquitectura civil del siglo XVIII, con la tendencia horizontalizadora de la casa alargada, dividida por columnas, pero también observamos la persistencia de diversos tradicionalismos, como como la memoria de la casa-torre, y la acentuada verticalidad del cuerpo central, de tres plantas.

En el cuerpo superior, el remate central está formado por aletas y una cartela que muestra el escudo de los Távora, que fue cortado tras la desgracia que sufrieron los Távora, acusados ​​de intento de regicidio, en 1758. El escudo de armas, ya destrozado,  fue sustituido en 1863 por el de los Condes de São Vicente, que tomaron posesión del Palacio, dejando el edificio abandonado y en ruinas. Este escudo es el que aún se conserva en la actualidad.
Contiguo al Palacio y en el lado norte, se encontraba una Capilla de invocación a Nª Sª dos Prazeres, también fue construida por orden del Marqués Luís Álvares de Távora, en el año 1664, que tenía sobre el dintel el escudo de los Távora. , también ordenaron ser picados debido a la inicua sentencia que los condenó.

El abandono del Palacio se extendió también a la Capilla, y en 1818, al encontrarse en ruinas, la imagen de Nª Srª dos Prazeres fue entregada a la Santa Casa da Misericórdia de Mirandela para su custodia, con la respectiva corona y campana de plata, con el altar y la imagen en el interior de la Iglesia y la campana en la fachada.

En 1890 el Palacio fue puesto a la venta en subasta judicial, habiendo sido adquirido por un particular, que realizó unas obras de mejora en él, habiendo sido adquirido en 1903 por el Ayuntamiento de Mirandela, habiéndolo puesto a disposición del Ministerio de la Guerra, quien también lo vendió en el mismo año, con la intención de destinarlo a funciones militares, realizándose importantes obras, con considerables reformas en todo su interior.

Entre 1910 y 1912 se instaló allí la sede del Ayuntamiento, estando en la planta baja la administración del concejo, a la izquierda, el departamento de agricultura; en el segundo piso, a la derecha, el Ayuntamiento y, a la izquierda, el juzgado de justicia y la Secretaría de Hacienda;

En 1936 se instaló en parte del edificio el Liceu Municipal Dr. Álvaro Soares.

Actualmente alberga el Ayuntamiento en sus tres plantas.

En el atrio del Palacio, y en el muro del arco central cerrado, se encuentra un panel de azulejos datado en 1956, con una representación del escudo de Vila de Mirandela, elevada a la categoría de ciudad el 16 de mayo de 1984. También Tiene una representación de la insignia de la Torre de Espada a la que fue adjudicada la villa en su momento, dada su fuerte participación en la defensa de la República cuando se estableció en Portugal, motivo por el cual, por Decreto del Gobierno, se concedió a Mirandela la estatus oficial de Orden y Torre de Espada del Valor, Lealtad y Mérito, por la tenaz resistencia de su población y heroica defensa de su reducida guarnición, durante el movimiento monárquico de 1919.

En 1994, el espacio que rodea el Palacio fue objeto de importantes trabajos de planificación urbana, que continúan, rebajándose el jardín elevado del Pazo (parte de lo que quedaba del castillo original) a la planta baja.