La primera edificación militar se alzó en el siglo XIII, y los tenientes del Condado la poseían por concesión real, correspondiendo entre otros condes al infante don Enrique de Trastamara, a Bertrand Duguesclin, a Fernando de Castro, a los Condes de Trastamara y finalmente fue concedida por los Reyes Católicos, que pernoctaron en ella y que la repararon con cargo a la Santa Hermandad, a los Condes de Lemos. En ella también pernoctaron Carlos I y Felipe II.

Contaba con amplia cerca, cuatro torres, entre ellas la del Homenaje y la del Mercado, sótanos, fosos, contrafosos y tenía varias casas en su interior.

Derruída con ocasión de la «Revolta Irmandiña» (finales del s. XV) fue reconstruida a costa de los vasallos de las «Cinco Pobras».

Fue sede del Regimiento y Justicia de la Villa y Marquesado de Sarria y morada de sus Corregidores, hasta la tercera década del s. XVIII. Estuvo en pie hasta 1860, cuando al ser vendida por el Duque de Alba, fueron adquiridos los terrenos, por mitades, por don Manuel Batallón y el Ayuntamiento, en tanto que la piedra de murallas y torres fue comprada por varias familias de la vila.

Se conserva tan solo una torre de flanco de losa y piedra de granito, recubierta que estuvo de mortero, que alcanza os 15 metros de altura.

A su cima se llega por una escalera abierta en parte por un lienzo de muralla, y conserva escudos con armas de los Castro, Enríquez y Osorio. En la pared que cerca la finca se ven varias cruces de un «viacrucis» del s. XVIII.