Junto con sus jardines mudéjares rodeados por las murallas almohades del siglo XII, forma un conjunto arquitectónico enclavado en el casco histórico de la localidad.Sus orígenes se pierden entre la leyenda y acontecimientos históricos de que fue escenario.Bajo la dominación árabe, por el siglo XI, el sultán Abu Yacub mandó construir su alcázar almohade.Será Luis Portocarrero Bocanegra, VII señor y I conde de Palma, quien complete la obra iniciada por su quinto abuelo, finalizando el palacio en el año de 1505, e incorporándolo a los estados de su linaje, y dándole su nombre y blasones.[4] En 2004 fue escenario de la película El reino de los cielos, dirigida por Ridley Scott, en la que aparecieron actores como Orlando Bloom, Eva Green y Liam Neeson;[1] mientras que en 2016 apareció en el largometraje Re-Emigrantes, dirigida por Óscar Parra de Carrizosa y protagonizada por Fernando Esteso.