A fines del siglo XV o comienzos del siglo XVI, ese concejo municipal aún carecía de asiento fijo para sus reuniones, por lo que le fue cedida para tal efecto la casa solariega de los Cabrera, de la que tomó posesión el concejo sin más reformas.En aquel momento, la casa tan solo ocupaba el espacio de fachada que, partiendo del rincón compartido con la catedral,[2] queda comprendido entre las dos primeras torrecillas ornamentales.[5] Inmediatamente se emprende la reforma del antiguo palacio, que se termina en 1526 incluyendo su ampliación hacia el norte con un nuevo volumen edificado de más altura.La puerta de ingreso al piso alto conserva aún las yeserías primitivas.En la sala que da al norte se conserva el armario de tres llaves, empotrado, con buenas tallas del XVI, donde se guardaban los padrones de la nobleza baezana, depositados hoy en el Archivo Histórico Municipal (antiguo hospital de san Antón).
