El palacio fue construido por el arquitecto Pedro Romero, siendo declarado Bien de Interés Cultural en 1969.

El rey Carlos II les concedió en el año 1679 el marquesado de Vallehermoso.

Se distribuye alrededor de 2 patios principales, cuenta además con otros patios secundarios, apeadero, caballerizas y jardín.

La extensa fachada se divide en calles mediante una serie de pilastras que centran huecos espaciados regularmente.

La portada también flanqueada por pilastras en estilo corintio sostiene el balcón principal decorado con molduras y el escudo de armas familiar.