O Paço dos Távoras fica localizado na freguesia e lugar de Mirandela, concretamente na zona antiga no ponto mais elevado do cabeço outrora denominado de S. Miguel, hoje Praça do Município, com vistas privilegiadas para o Rio Tua e por sua vez, para a Ponte Velha.

A importância dos Távoras em Trás-os-Montes, e em particular na região de Mirandela, encontra-se bem expressa nos privilégios concedidos pelos monarcas. A casa, onde, contrariamente à prática de outras famílias nobres, os Távoras permaneciam bastante tempo, deveria traduzir todo o prestígio e poder de que a família gozava. Assim deve ser entendida a profunda remodelação da fachada, ocorrida no início do século XVIII, que transformou o edifício numa grandiosa cenografia, na qual o brasão dos seus proprietários se encontrava em lugar de destaque. As origens da casa são, no entanto, bem anteriores.

A mais antiga residência seria uma torre medieval de 1282, devidamente adaptada, que veio a ser destruída para dar lugar a um outro edifício, mais consentâneo com as necessidades da família (Rodrigues, 1997, p. 164). A grande intervenção no Paço deve-se à iniciativa do marquês António Luís de Távora que, em 1709, contratou os mestres canteiros Manuel Alves e Domingos Pereira, residentes em Mirandela para a nova frontaria, resultando numa fachada de arquitetura tipicamente barroca, profusamente decorada. O projeto entregue aos canteiros deve ter vindo de Lisboa com forte probabilidade do projeto ser da autoria do arquiteto João Antunes.

João Antunes (1643-1712) foi um arquiteto português, considerado um dos mais importantes do período barroco em Portugal, era à época o arquiteto da corte portuguesa onde a família Távora tinha considerável influência, e a sua principal obra foi a Igreja de Santa Engrácia em Lisboa, mas também a Igreja do Menino de Deus em Lisboa a Igreja do Bom Jesus de Barcelos, e muitas outras obras com influência Italiana.

Na fachada principal do Paço é onde se concentra todo o dinamismo, os valores da arquitetura civil de setecentos, com a tendência horizontalizante da casa comprida, seccionada por pilastras, mas observamos, também, a persistência de tradicionalismos vários, como a memória da casa-torre, e a acentuada verticalidade do corpo central, de três pisos.

No corpo mais elevado, o remate central é constituído por aletas e por uma cartela onde figurava o brasão dos Távoras, que foi picado após a desgraça que se abateu sobre os Távoras, acusados de tentativa de regicídio, em 1758. Foi o brasão já picado, substituído em 1863, pelo dos Condes de São Vicente, que ficaram á posse do Paço deixando o edifício ao abandono e à ruína. Este brasão é o que ainda hoje se mantém.
Contígua ao Paço e do lado norte, existiu uma Capela de invocação a Nª Srª dos Prazeres, também mandada erigir pelo marquês Luís Álvares de Távora, no ano de 1664, que possuía por cima da verga da porta o escudo das armas dos Távoras, também mandadas picar em virtude da iníqua sentença que os condenou.

O abandono do Paço, estendeu-se também á Capela, sendo que em 1818 por se encontrar em ruína, foi a imagem de Nª Srª dos Prazeres entregue à guarda da Santa Casa da Misericórdia de Mirandela, com a respetiva coroa de prata e o sino, encontrando-se o altar e imagem no interior da Igreja e o sino na fachada.

Em 1890 foi o Paço colocado á venda em leilão judicial, tendo sido adquirido por um particular, que nele efetuou algumas obras de melhoria, tendo sido adquirido em 1903 pela Câmara Municipal de Mirandela, tendo-o colocado á disposição do Ministério da Guerra, a quem o vendeu também no mesmo ano, com o intuito de o afetar a funções militares, tendo sido efetuadas obras de vulto, com considerável alteração de todo o seu interior.

Entre 1910 e 1912, foi nele instalada a sede dos Paços do Concelho passando a funcionar no piso térreo, à direita, a administração do concelho, à esquerda, a repartição da fazenda; no segundo piso, à direita, a Câmara Municipal e, à esquerda, o tribunal judicial e a Repartição de Finanças;

Foi em 1936 instalada em parte do edifício o Liceu Municipal Dr. Álvaro Soares.

Nele funciona hoje os Paços do Concelho em todos os seus três pisos.

No átrio do Paço, e na parede do arco central fechado, encontra-se colocado um painel de azulejos datado de 1956, com representação do brasão da Vila de Mirandela, elevada a cidade em 16 de Maio de 1984. Possui também representado o colar da Torre de Espada a que então a povoação foi agraciada, face á forte participação na defesa da República aquando da sua implantação em Portugal razão pela qual por decreto do Governo foi conferida a Mirandela o oficialato da Ordem e Torre de Espada do Valor, Lealdade e Mérito, pela tenaz resistência da sua população e heróica defesa da sua reduzida guarnição, por ocasião do movimento monárquico de 1919.

Em 1994, o espaço envolvente do Paço foi objeto de consideráveis obras urbanísticas, que se mantêm, tendo o jardim elevado do Paço (parte que restava do primitivo castelo), sido rebaixado até ao piso térreo.