Su denominación hace referencia al municipio de Villahermosa del Río (Castellón), y el lema familiar es "Sanguine empta, sanguine tuebor".

El edificio lo proyectó el arquitecto Antonio López Aguado en estilo neoclásico para la xi duquesa consorte María Pignatelli y Gonzaga.

El inmueble conservó sus suntuosos interiores, que incluían salón de baile y capilla privada, hasta la década de 1970, tal como aparece en un reportaje fotográfico publicado en la revista Blanco y Negro.

Poco después el edificio fue adquirido por la Banca López Quesada, que lo modificó para instalar sus oficinas.

Actualmente este palacio es propiedad del ayuntamiento y en parte está en manos privadas.