A fortificação de Penamacor foi edificada no princípio da nacionalidade e incluía a alcáçova e o burgo medieval. O “castelo” assentava em afloramentos graníticos, na parte mais elevada da penha, sendo que os vestígios que ainda hoje sobrevivem são a Torre de Menagem e a parte da muralha adjacente à Torre. Tal estrutura atribuía a Penamacor um estatuto de praça de vanguarda e uma “atalaia do reino” no complexo de linhas fortificadas na zona da raia, cuja visibilidade se estendia essencialmente para sul, onde se destacam as localidades de Monsanto e de Idanha-a-Nova, e a nascente, para a Serra de Gata. A fortificação foi alvo de requalificações ao longo do tempo, nomeadamente o troço amuralhado que subsiste e que liga os antigos Paços do Concelho (século XVI) à Torre do Relógio, sendo atribuídas ao rei D. Dinis. Também a Torre de Menagem foi alvo de reforma. Em o Livro das Fortificações, de Duarte d’Armas, de 1509, o escudeiro de D. Manuel, faz o levantamento das praças fortificadas ao longo da fronteira e passa por Penamacor, fossilizando em desenho a vila raiana. Segundo o mesmo, a Torre de Menagem ainda se encontrava em processo de construção. Na Guerra da Restauração (1640-1668), Penamacor voltaria a ser alvo de atenção por parte da Monarquia, surgindo a necessidade de a reequipar e adaptar à arte da guerra do século XVII. Houve, igualmente, necessidade de estender e proteger a malha urbana que trasvazava além-muros. Face à necessidade, a vila é dotada de baluartes e meio-baluartes que defenderiam a localidade.
Além de envolver o aglomerado populacional, foi edificado um meio-baluarte, adoçado aos antigos Paços do Concelho, para proteger o burgo medieval, o último reduto da praça. Em 1739, a alcáçova medieval, estrutura que foi perdendo alguma da sua importância no complexo fortificado da vila de Penamacor e que nessa data tinha funções de paiol, ou seja, de armazenamento de pólvora, ficou tremendamente danificada após um raio atingir a estrutura numa noite de trovoada. A Torre de Menagem ficaria, igualmente, danificada, com cicatrizes deixadas pelo evento. Apenas na década de 40, do século XX, é que a Torre voltaria a ser alvo de intervenção, restituindo-lhe a imagem de outrora.
Castelo