El actual palacio es obra de los arquitectos almerienses Trinidad Cuartara y Enrique López Rull cuya construcción se inició en 1894 bajo la prelatura del obispo Santos Zárate y Martínez.

Sus antecedentes están en las casas adquiridas por el obispo Diego Fernández de Villalán en 1541, y que harían las veces de residencia para los futuros obispos.

Estas fueron reformadas durante el siglo XVII, resultando en una residencia de dos plantas con patio central, jardín y establos, la cual, no obstante, decayó durante todo el siglo XVIII.

Se iniciaron acciones para restaurar el edificio, gravemente afectado por el terremoto de 1804, en diversas ocasiones a lo largo del siglo XIX, pero no sería hasta finales de siglo cuando se iniciaran las obras del palacio actual, gracias, entre otras cosas, a la mejora de las relaciones entre la Iglesia católica y la España de la Restauración borbónica.

La fachada, de dos cuerpos y rematada por un piñón cornisado, está decorada con elementos de ascendencia medieval y clasicista, entre los que destacan los arcos abocinados correspondientes al historicismo neorrománico.