Localizado num alto na zona histórica da localidade de Serpa ergue-se o seu castelo.
As origens deste castelo remontam ao período romano, sendo mais tarde ocupado por Alanos, Vândalos, Suevos, Visigodos e mais tarde por Muçulmanos.
Inicialmente esta construção era apenas uma pequena fortificação com o objectivo principal de protecção.
Na época medieval, mais concretamente no período de reconquista cristã, acredita-se que este castelo foi conquistado por Dom Afonso Henriques ou por Geraldo “Sem Pavor” numa das incursões ao além Guadiana no ano de 1166.
Entretanto, o mesmo viria a ser reconquistado pelos muçulmanos em 1191, apenas se tornando parte do reino de Portugal em 1232, aquando da sua conquista por Dom Sancho II que o entregaria ao seu irmão, Dom Fernando.
Foi no ano de 1295 que Serpa recebeu foral pelas mãos de Dom Dinis, levando a que o primitivo castelo fosse reconstruido.
Aquando da Crise de 1383-1385, este monumento ficou na posse do Mestre de Avis que o tornou numa base militar.
Foi no reinado de Dom Manuel I, que concedeu novo foral à vila no ano de 1513, que o castelo passou a ser retratado incluindo no mesmo o próprio castelo rodeado por uma fortaleza amuralhada com torreões de forma cilíndrica e rectangular e uma torre de menagem, sendo ainda de destacar uma segunda muralha que protegia a zona baixa da vila.
Entretanto este castelo viria a passar por novas obras, depois de uma parte ter sido destruído na Guerra da Restauração, em que se destaca a construção do Forte de São Pedro de Serpa no ano de 1668.
Com a Guerra de Sucessão Espanhola, uma vez mais o castelo foi abalado, sendo destruída uma das suas torres.
Ao longo dos anos o castelo foi sempre sofrendo obras de recuperação, no entanto foi no ano de 2000 devido a condições meteorológicas que o castelo viu ruir uma dos seus troços.
Relativamente ás características construtivas deste edifício destaca-se a muralha da vila construída em forma oval, reforçada por torres quadrangulares e semi-circulares. A mesma é aberta por três portões (Porta de Beja, Porta de Moura e Porta de Sevilha, esta última hoje inexistente), sendo que mais tarde foram abertas duas novas portas na muralha (Porta da Corredoura e Porta Nova). No lado oeste da muralha encontra-se um aqueduto em arcada de vão redondo que une o Palácio dos Condes de Ficalho a uma nora.
No que concerne à alcáçova do castelo, a sua muralha é reforçada pela torre de menagem em forma quadrangular, onde se encontra actualmente instalado o Museu Arqueológico de Serpa com uma colecção única, encontrada em escavações, que remontam do período Paleolítico até ao período romano.
Este edifico histórico é classificado como Monumento Nacional desde o ano de 1954.
