Situado no interior das muralhas da localidade de Serpa e numa zona de destaque (a zona alta), o Palácio dos Condes de Ficalho é uma construção dos finais do século XVI, chamando a sua atenção por se localizar no pano das muralhas defensivas. Este edifício foi mandado erguer pelo alcaide-mor de Serpa, Dom Francisco de Mello, que não o terminou, deixando a obra de conclusão aos seus filhos: Dom António Martim de Mello (Bispo da Guarda) e Dom Pedro de Melo (governador do Brasil).
Este palácio foi construído em cima da antiga morada dos alcaides mor de Serpa, aquando da reconstrução ao estilo maneirista da antiga residência medieval, podendo também ser chamado de Casa do Castelo, devido à sua localização, sendo um dos mais bem trabalhados exemplos do estilo maneirista.
Relativamente ao exterior do palácio, a sua fachada posterior é um dos seus elementos mais característicos, sendo dividida em duas partes. A primeira parte corresponde ao piso inferior e a segunda parte ao piso nobre, apresentando ambas janelas de sacada e rematadas por cornijas gradeadas por ferro que se apoiam em balaustrada.
O interior deste edifício é divido por várias e amplas salas, que se interligam por galerias de estilo simples. No piso térreo encontramos as salas de serviço, que dão acesso através de escadas ao piso nobre constituído por várias salas e galerias com decoração de azulejos do século XVI.
O Palácio dos Condes de Ficalho é ainda ligado por um aqueduto que tem a sua origem numa nora do outro lado das muralhas e que foi construído com o propósito de abastecer de água este edifício.
Durante o século XIX este belo exemplar de arquitectura maneirista viria a degradar-se, e em que apenas sofreu obras de restauração já no século XX, sendo ainda propriedade da família Mello.
No ano de 1994, o Palácio dos Condes de Ficalho, foi premiado pelo Institut International des Châteaux Historiques, devido ás suas excelentes obras de restauro.
Actualmente e desde o ano de 2007 este edifício está classificado como Monumento Nacional.