Se abrió un pleito dinástico que duró generaciones, hasta el duque de Osuna Mariano Téllez-Girón, quien murió completamente arruinado y sin descendencia.

Le heredó su sobrino, quien además presentaba como su heredero, el marqués de Ariza y Valmediano, Andrés Avelino de Arteaga y Silva, descendiente de la rama del VII duque, que abrió el pleito.

La Casa del Infantado ha pasado por diversas etapas, afectándole mucho la unión y posterior separación del ducado de Osuna.

En Madrid, sus últimas residencias se localizaron en el Paseo del Prado y en la calle Don Pedro I.

Cuando en 1932 se censaron los bienes agrícolas de los Grandes de España, la Casa del Infantado era todavía la novena propietaria del país con 17.171 hectáreas.