El palacio, que llegó a ser uno de los principales del Madrid de su época,[1]​ perteneció a los duques de Osuna.

Había sido erigido a finales del siglo XVIII, con planos del arquitecto Pedro Arnal.

[2]​ En él se instaló a mediados del siglo xix la biblioteca del duque de Osuna, trasladada desde la calle de Leganitos.

[3]​ Uno de sus últimos residentes fue Mariano Téllez-Girón, casado con María Leonor de Salm-Salm y caracterizado por sus dispendios y derroches.

[4]​ En 1900 fue derribado y sobre sus restos se levantó el Seminario Conciliar de Madrid, inaugurado en 1906.