[1][2][Nota 1] En 1475 fue heredado por su hermana, Beatriz de Guzmán, que adquirió una casa aneja al palacio.En 1484, ya casado en segundas nupcias con Leonor de Figueroa, fundó dicho mayorazgo.[4] En los siguientes años, Rodrigo fue adquiriendo una serie de casas anejas que fue añadiendo al palacio.Ese mismo año fundó otro mayorazgo para su segundo hijo, Pedro de Guzmán.[13] A principios del siglo XVII hubo un pasaje elevado entre el palacio y la cercana Iglesia de Omnium Sanctorum.[14] Los marqueses tenían en la iglesia parroquial una tribuna, para asistir a misa en un lugar preferencial.[18] Eugenio Eulalio realizó un contrato de compraventa del palacio en 1822 por 85 000 reales, puestos por Sebastián Duarte y Sartorio.En 1850 se solucionó el problema del censo y Duarte pagó la parte que faltaba.[19] En 1840 se derribó el arquillo que unía la casa con la Iglesia de Omnium Sanctorum.[20] En 1841 Sebastián Duarte ya había arrendado la parte del jardín y sus edificaciones.[21] En 1843 un terreno del palacio en la calle Amargura pasó a Manuel Amores y Parra.[24] En 1957 Joaquín Romero Murube le dedicó un texto al palacio, ya bastante descuidado, lleno de añoranza.[28] Alberga en su interior la sede la Delegación de Participación Ciudadana y el Centro del Mudéjar.