A construción iniciada por D. Sancho I, é de estilo gótico e é un dos castelos mellor conservados de Portugal.
A súa importancia estratéxica ven da súa posición xeográfica en relación con Galicia. Recibiu a súa Carta de Foral en 1187, foi invadida por D. Afonso IX de Leão en 1199 e reconquistada.
Nos seus máis de 800 anos foi o centro de conflitos e conquistas externas e internas.
A prosperidade da vila e a súa expansión propiciou a construción dun segundo perímetro amurallado en 1293. O castelo foi finalmente “conquistado” co tratado de Segovia, en 1400, e a súa Torre da Homenaxe foi rematada en 1439 durante o reinado de D. Duarte.
Dende o 23 de xuño de 1910, o castelo é Monumento Nacional. En 1930 iniciáronse as obras de restauración e conservación e en 1936 instalouse o Museo Militar, un dos máis importantes e visitados a nivel nacional.