Pertenecía a la parroquia de San Sebastián, y ocupaba el número 74 de la numeración moderna de la calle; su otra fachada lindaba con el paseo del Prado.
Tampoco es conocida la cronología de propietarios del mismo, y aparece en 1790 habitado por Pedro de Alcántara Téllez-Girón y Beaufort Spontin y María Josefa Pimentel, duques de Béjar.
A finales del siglo XVIII fue adquirido por Manuel Miguel Osorio y Spínola, XV marqués de Alcañices, quien lleva a cabo una primera reforma en 1804 para evitar el desplome de la fachada.
Tras su muerte, acaecida en Madrid el 31 de enero de 1866 pasa a manos de su hijo José Osorio y Silva, duque de Sesto, quien encarga a Francisco de Cubas una importante reforma del edificio en 1872, tras su boda con la princesa Sofía Troubetzkoy, y también debido al papel político jugado por el matrimonio en la Restauración borbónica; habitado por los duques de Sesto, el palacio se convirtió en el centro de las reuniones alfonsinas.
Los gastos que ocasionaron su apoyo a la monarquía (calculados entre 15 y 20 millones) junto con las obras de prolongación de las actuales calles Zorrilla y de los Madrazo, hicieron que el duque de Sesto vendiese el palacio en 1882 al consejo del Banco de España, comprando un nuevo solar al año siguiente en el Ensanche para construir un nuevo palacio del que únicamente levantó las caballerizas, pues se trasladó a un palacete de su propiedad, donde falleció en 1909.