El Castillo de Mirandela ocupa la mayor parte del casco antiguo de la ciudad, mandado construir por el rey D. Dinis, a finales del siglo XIII, para Cabeço de S. Miguel, correspondiente al lugar donde se encontraba la Iglesia de Nª Srªda Encarnaçión y Pazo dos Távoras (Ayuntamiento), ya que el lugar era muy defendible, con vistas al río y cortado por pendientes poco suaves e incluso rugosas, estando amurallado, convirtiéndolo en una plaza fuerte al estilo de la época. .

La actividad militar continuó hasta el final de las guerras con Castilla, tras la victoria de Aljubarrota, tras la cual el castillo comenzó a decaer, al perder su razón de ser al no ser localidad fronteriza.

El Castillo de Mirandela tenía una muralla, cuatro puertas: puerta de Santo António, puerta de Santiago, puerta de Portela y puerta de São José.

Frente a la puerta de Santo António, por la que sólo se podía entrar a pie por el interior de la muralla, ya que la calle era muy empinada, y para los que cruzaban el río en barca, ya que en aquella época no había puente, había unos 15 metros hacia el río, un tramo de muro de mampostería, también con una puerta de arco completa, que no estaba exactamente en la prolongación de la Rúa do Arco, sino ligeramente a la izquierda de la misma, y ​​que serían los restos de la Antigua barbacana (muro construido delante de los muros y más bajo que ellos), destinado a defender la puerta, en el caso de Santo António.

Junto al castillo o torre del homenaje, más o menos en el actual emplazamiento del Pazo dos Távoras, probablemente también estaría la ciudadela (casa proyectada y construida para el retiro real).

Las referencias a la decadencia del monumento se acentuaron en la época moderna y, en 1706, Carvalho da Costa también menciona la existencia de tres puertas: Porta o Arco de Santiago; Porta de Santo António y Postigo de São José. El siglo XIX fue especialmente perjudicial para la supervivencia del castillo. En esta época, bajo la idea de «progreso», muchas ciudades y pueblos portugueses vieron derribadas sus murallas, y Mirandela, lamentablemente, no fue la excepción.

La última puerta destruida fue la de Santiago, frente al Solar Condes de Vinhais y salida al norte de la Praça Velha (Praça 5 de Outubro) y que dio origen a la calle del mismo nombre, derribada en 1880, entonces se alegó que el estrangulamiento de la puerta dificultaba el paso de los vehículos de carga.

Lo que hoy es visible es la Porta de Santo António y un pequeño tramo de muralla que se adentra en el edificio que la limita por el norte, hoy Pensão Praia, y también dos tramos de muralla visibles al inicio de la rue do Rosário y en la confluencia. con la Rúa de S. José (lugar de la antigua Puerta de S. José).

Prácticamente todos los muros traseros de los edificios que lindan con la calle Luciano Cordeiro y la calle S. Cosme siguen siendo los muros originales del castillo, y es una pena que en los años 90 se destruyera un tramo de muralla de unos 30 metros para construir edificios ( terrenos de Casa Lima, en Rua Luciano Cordeiro y cruce con Rua D. Manuel I).

Aún quedan vestigios de la Rua da Muralha encontrados en el contexto de los trabajos arqueológicos realizados en la Travessa de Santo António.

Está clasificado como Bien de Interés Público en 1955.