É a construção militar mais importante de Ferrol. Situadas em frente ao Castelo de Palma (em Mugardos) e ao desaparecido castelo de San Martiño, as três fortificações tornaram a Ria de Ferrol inexpugnável, num “triângulo de fogo” que nenhuma potência inimiga de Espanha ousou atacar. À noite, os castelos de São Filipe e A Palma eram unidos por uma corrente, impedindo assim a passagem de navios inimigos. É atribuída ao almirante Pitt a frase de que se a Grã-Bretanha tivesse um estuário como este, com os seus castelos, protegê-lo-ia com um muro de prata.
Em 1557 iniciou-se a construção do castelo, patrocinada por Filipe II, que lhe deu o nome. No entanto, o edifício que hoje temos data do século XVIII, altura em que foi remodelado. As grandes obras do castelo foram finalmente concluídas em 1775. No século XVIII São Filipe é considerado um exemplo de “bateria baluarte”.
Este desenho tinha, por um lado, uma área de baterias de canhões direcionadas para o mar, e por outro, tinha um sistema de baluartes – ou paredes salientes – cobrindo os flancos das cortinas (as paredes frontais). Esses baluartes também foram usados para rejeitar os ataques terrestres
San Filipe, em constante processo de restauro, surpreende os visitantes tanto pelo seu esquema construtivo como pelas belas vistas sobre a ria que se podem obter da sua localização.