O Forte de São Clemente ou também conhecido por Castelo de Milfontes foi construído durante quase um século, entre o ano de 1509 e o ano de 1602, e foi mandado erguer pelo Rei Dom Filipe II de Portugal (Dinastia Filipina).
A sua principal função seria a de protecção da localidade devido aos inúmeros ataques de que era vitima por parte de piratas mouriscos (oriundos do Norte de África).
O seu nome deveu-se ao padroeiro das causas marítimas, São Clemente.
Esta foi uma obra projectada por um engenheiro italiano de nome Alexandre Massaii, que
se encontrava ao serviço da Coroa portuguesa, também autor do Forte da Ilha do Pessegueiro, em Porto Covo (Sines) e pelo Castelo de Sines.
O material utilizado para a sua construção foi o mesmo das construções anteriores realizadas pelo engenheiro napolitano, ou seja, rocha arenítica. A sua construção foi feita sobre um esporão rochoso nas margens do rio Mira, apontando as suas baterias para a embocadura do rio.
Relativamente ao seu estilo arquitectónico, apresenta características maneiristas com uma planta poligonal com cada lado a rondar os 35 metros. O mesmo apresentava ainda duas plataformas desniveladas com baterias para bater o estuário do rio.
A sua porta de entrada está virada para nascente e apresenta uma forma de arco redondo, onde por cima verificamos a pedra de armas simplificada e constituída por escudo e coroa fechada.
Este edifício militar era ainda rodeado por um fosso e um ressalto na muralha, sendo o acesso ao interior do forte feito através de ponte levadiça.
No entanto no inicio do século XX, durante o ano de 1903, este forte foi colocado à venda em hasta pública sendo adquirido pelo Capitão de Infantaria Valério Ferrão. Em 1909, o mesmo, volta a ser vendido e outra venda no ano de 1939, desta vez adquirido por Dom Luís Manuel de Castro e Almeida que realizou obras de restauro, tornando-o no primeiro local de turismo de habitação no país.
Actualmente, e desde que perdeu a sua função inicial esta fortificação foi sofrendo várias alterações, onde se destaca o friso da janela em arco que sobressai sobre o muro da praça baixa. No seu interior foi ampliada a sua área habitacional e a ampliação do casario na praça alta.
Em Setembro de 1978 este edifício foi classificado como Imóvel de Interesse Público, sendo que o mesmo se encontra novamente à venda.
