A primeira edificación militar alzouse no século XIII, e os tenentes do Condado posuíana por concesión real, correspondendo entre outros condes ao infante don Enrique de Trastamara, a Bertrand Duguesclin, a Fernando de Castro, aos Condes de Trastamara e finalmente foi concedida polos Reis Católicos, que pernoitaron nela e que a repararon con cargo á Santa Irmandade, aos Condes de Lemos. Nela tamén pernoitaron Carlos I e Felipe II.

Contaba con ampla preto, catro torres, entre elas a da Homenaxe e a do Mercado, sotos, fosos, contrafosos e tiña varias casas no seu interior.

Derruída con ocasión da “Revolta Irmandiña” (finais do s. XV) foi reconstruída á conta dos vasallos das “Cinco Pobras”.

Foi sede do Rexemento e Xustiza da Vila e Marquesado de Sarria e morada dos seus Corrixidores, ata a terceira década do s. XVIII. Estivo en pé ata 1860, cando ao ser vendida polo Duque de Alba, foron adquiridos os terreos, a medias, por don Manuel Batallón e o Concello, en tanto que a pedra de murallas e torres foi comprada por varias familias da vila.

Consérvase tan só unha torre de flanco de laxa e pedra de granito, recuberta que estivo de morteiro, que alcanza vos 15 metros de altura.

Á súa cima chégase por unha escaleira aberta en parte por un lenzo de muralla, e conserva escudos con armas dos Castro, Enríquez e Osorio. Na parede que preto a leira ven varias cruces dun “viacrucis” do s. XVIII.