El palacio, que llegó a ser uno de los principales del Madrid de su época,[1] perteneció a los duques de Osuna.Había sido erigido a finales del siglo XVIII, con planos del arquitecto Pedro Arnal.[2] En él se instaló a mediados del siglo xix la biblioteca del duque de Osuna, trasladada desde la calle de Leganitos.[3] Uno de sus últimos residentes fue Mariano Téllez-Girón, casado con María Leonor de Salm-Salm y caracterizado por sus dispendios y derroches.[4] En 1900 fue derribado y sobre sus restos se levantó el Seminario Conciliar de Madrid, inaugurado en 1906.
