Aparece mencionado como palacio cabo de armería en la nómina oficial del Reino.

Siendo Carcastillo una villa abacial hasta mediados del siglo XIX se trataba de un palacio abacial en el que pasaban temporadas antiguamente los abades del monasterio de La Oliva como señores de la villa.

Es una construcción de piedra, obra del siglo XVI, con un balcón que en este siglo se transformó en corrido, que aún conserva ornamentación renacentista.

[1]​ Resalta en la fachada la ventana central con pilastras decoradas y friso con medallones así como un escudo con la cruz de la orden de Calatrava.

[2]​ A raíz de la Desamortización, en 1835, con la desaparición del señorío monacal, acabó siendo enajenado el palacio.