El asalto a la judería en 1391 que dejó muy menguada la comunidad judía de la ciudad, propició que estos terrenos pasaran a manos del justicia y alguacil mayor del rey, Diego López de Zúñiga, que levantó sobre ellos el edificio actual.Del conjunto de edificaciones primitivas parece quedar constancia en una amplia edificación rectangular dividida en dos plantas y paralela a la fachada y en otra sala cuadrada situada a la derecha del patio, así como en los dos patios más pequeños, yuxtapuestos a estas salas.Un estrecho pasillo que se supone sería el acceso desde el patio pequeño a las galerías del grande y desde éste a las salas, separa la sala de la calle Céspedes.Tanto el espacio central como el pasillo se cubren por un artesonado de madera y se decoran junto con el patio con yeserías de finales del siglo XIV.El palacio cuenta con un segundo patio de mayores dimensiones, 14 x 18 m., con arquerías en sus cuatro lados y se observa en su construcción dos momentos diferentes, uno correspondiente al lado que lo separa de la calle Céspedes, donde la arquería parece incluida en alfices y una de cuyas columnas cuenta con un capitel califal, y otro el correspondiente a las otras tres caras, cuyas arquerías parecen ser todas de fecha reciente.El proyecto de rehabilitación fue redactado y ejecutado por el arquitecto Francisco Torres Martínez.
