Monumento Nacional desde 1910, a Torre de Menagem é quase só o que resta do antigo castelo da cidade. Em 2017, foi aqui inaugurado um Núcleo Interpretativo da História de Braga. A exposição Intitulada Era uma vez uma cidade propõe uma versão ilustrada da história, protagonistas e evolução urbana de Braga.

Localizada no ponto mais alto do burgo medieval, possui um brasão de D. Fernando sobre a porta. O castelo é já referido em documentos dos inícios do século XIV, embora a construção tenha sido ordenada após as invasões de 1369. Demolido em 1906, terá tido seis torres das quais ainda subsistem vestígios.

Apesar de só a Torre de Menagem ser visível, subsistem inúmeros troços do antigo castelo que foram reaproveitados pelas edificações circundantes. A torre sineira da igreja da Lapa resulta do reaproveitamento de um cubelo do castelo e grande parte da muralha oriental sobreviveu no interior do quarteirão. Uma parte do torreão sul está também integrada nas traseiras de uma habitação voltada ao largo Barão de São Martinho.