[1][2][Nota 1] En 1475 fue heredado por su hermana, Beatriz de Guzmán, que adquirió una casa aneja al palacio.
En 1484, ya casado en segundas nupcias con Leonor de Figueroa, fundó dicho mayorazgo.
[4] En los siguientes años, Rodrigo fue adquiriendo una serie de casas anejas que fue añadiendo al palacio.
[13] A principios del siglo XVII hubo un pasaje elevado entre el palacio y la cercana Iglesia de Omnium Sanctorum.
[14] Los marqueses tenían en la iglesia parroquial una tribuna, para asistir a misa en un lugar preferencial.
[18] Eugenio Eulalio realizó un contrato de compraventa del palacio en 1822 por 85 000 reales, puestos por Sebastián Duarte y Sartorio.
En 1834 el XII marqués de La Algaba fue su hermano, Cipriano Palafox y Portocarrero.
En 1850 se solucionó el problema del censo y Duarte pagó la parte que faltaba.
[19] En 1840 se derribó el arquillo que unía la casa con la Iglesia de Omnium Sanctorum.
[20] En 1841 Sebastián Duarte ya había arrendado la parte del jardín y sus edificaciones.
[21] En 1843 un terreno del palacio en la calle Amargura pasó a Manuel Amores y Parra.
[24] En 1957 Joaquín Romero Murube le dedicó un texto al palacio, ya bastante descuidado, lleno de añoranza.
[28] Alberga en su interior la sede la Delegación de Participación Ciudadana y el Centro del Mudéjar.