Fue construido en estilo renacentista por la casa de Medina Sidonia en el siglo XVI, sobre la estructura de lo que parece ser un antiguo ribat o alcázar andalusí del siglo XII.En él se situaba la antigua capilla palatina de los Medina Sidonia, fundada en 1493.El jardín, rodeado de murallas medievales, fue diseñado por Giovanni Pannini, un paisajista italiano que combinó fuentes y estatuas con setos de boj.En la actualidad, existen una hospedería y una cafetería en parte del palacio.Una parte de sus jardines está abierta a la visita del público en general con entrada libre.
