Construído a partir de 1582 por ordem de Filipe II de Espanha (Filipe I de Portugal, na União Ibérica) para vigiar a barra do Sado e controlar a cidade, o castelo é um forte em estrela à italiana — uma das melhores peças do género em Portugal. A subida desde a baixa faz-se em 15 minutos de caminhada ou cinco de carro.
Dentro das muralhas, a capela de Santa Bárbara (1714) é forrada de ponta a ponta com azulejos de Policarpo de Oliveira Bernardes — um dos mestres do azulejo azul-e-branco do séc. XVIII. A cena da vida da santa é impressionante à luz natural da manhã.
A partir das muralhas, a vista abraça a cidade, a baía, a Arrábida, e a Tróia do outro lado. Durante décadas uma parte do castelo funcionou como pousada; hoje o espaço é público, com entrada livre ao pátio e à capela. Excelente fim-de-dia com pôr-do-sol para oeste sobre a serra.