El castillo palacio de Altamira o Alcázar de la Señoría, fue construido a finales del siglo XV por el noble castellano Gutierre de Cárdenas, primer señor de la ciudad, tras haber vuelto a la Corona con los Reyes Católicos, convirtiéndolo en su residencia habitual.
No obstante, es probable que fuera construido sobre una obra anterior del siglo XII o XIII, que formaría parte de las defensas de la villa amurallada almohade.
Perteneció a los condes de Altamira.
Más adelante, el palacio pasó a tener la consideración de «campo prisión».
Su planta es poligonal, y sus elementos más excelentes son la sólida torre mayor cuadrangular y los torreones cilíndricos que protegen sus esquinas.