Su construcción fue iniciada por D. Sancho I, tiene un estilo gótico y es uno de los castillos mejor conservados de Portugal. Su importancia estratégica proviene de su posición geográfica en relación con Galicia. En 1187 recibió su Carta de Foral, fue invadido por D. Alfonso IX de León en 1199, y reconquistado.
En sus más de 800 años, ha sido el centro de conquistas y conflictos externos e internos. La prosperidad del poblado y su expansión dio lugar a la construcción de un segundo perímetro amurallado en 1293. Con el tratado de Segovia, en el año 1400, el castillo fue finalmente “conquistado” y vio terminada su Torre del Homenaje en 1439, durante el reinado de D. Duarte.
El Castillo está clasificado como Monumento Nacional desde el 23 de junio de 1910.

En 1930 se iniciaron las obras de restauración y conservación, y en 1936 se instaló el Museo Militar, uno de los más importantes y visitados a nivel nacional.