Pénsase que a primeira fortificación colocada na ribeira de Foz do río Lima data do reinado de D. Afonso III, aínda que a data segura máis antiga é do século XV, cando se construíu alí unha fortaleza que estaría rematada. durante o reinado de D. Manuel I, tal e como suxiren algúns elementos arquitectónicos manuelinos, nomeadamente a chamada “Torre da Roqueta”, situada no bastión suroccidental da actual fortaleza.

A finais do século XVI, a fortaleza sufriu sucesivas obras de mellora, sendo xa baixo dominio español, durante o reinado de Filipe II (Filipe I de Portugal), cando se construíu a actual fortaleza poligonal, a partir dun proxecto de Filippo de Terzi, o máis famoso deseñador de edificios militares daquela época.