Reconstruído no século XIX por D. Fernando II, tal como o vizinho Palácio da Pena, o Castelo dos Mouros, situado a 400 metros de altitude, evoca a presença muçulmana nestas paragens. Conquistado definitivamente por D. Afonso Henriques, em 1147, ali foi edificado o primeiro templo cristão do concelho, a Capela de São Pedro, hoje em ruínas. Perto, o túmulo do escritor Ferreira de Castro, falecido em 1974. Do alto das muralhas tem-se uma esplendorosa vista sobre a vila e a serra.
Em junho de 2013, foram inauguradas as novas instalações de apoio ao visitante. Incluem um espaço de acolhimento, constituído por uma cafetaria com esplanada, loja e bilheteira, bar e instalações sanitárias, a que se junta, ainda, uma envolvente paisagística recuperada, bem como caminhos de acesso e de ronda totalmente requalificados e iluminados. Foram também restauradas as duas cinturas de muralhas e a Cisterna (que passou a ser visitável). Foi ainda aberta ao público a Casa do Guarda do Castelo, situada na segunda cintura de muralhas (fora do perímetro pago), após recuperação e adaptação como cafetaria, esplanada (com vista panorâmica para a Serra) e instalações sanitárias.
