Proyectado en 1873 por el arquitecto Elías Gallegos para residencia de Pedro Domecq Loustau, casado con Carmen Núñez de Villavicencio.A su muerte, el palacio pasó a ser propiedad de Fernando Soto y Aguilar y Carmen Domecq, condes de Puerto Hermoso.En 1925 fue residencia real con motivo de la estancia en la ciudad del rey Alfonso XIII para la Coronación del Carmen, ya que los condes de Puerto Hermoso fueron los padrinos de esta Coronación.A mitad de los años 80 se convirtió en la actual comisaría del Cuerpo Nacional de Policía, lo cual implicó profundas modificaciones para la adaptación del palacio a su nueva función.Con el traslado planificado de dicha comisaría a la Asunción, en un edificio a construir en dicha zona del ensanche, ha quedado en el aire el futuro de este patrimonio.
