La construcción se inició en 1825 y estaba destinada al duque de York y Albany, segundo hijo del rey Jorge III, e inicialmente se llamó York House.

La casa fue adquirida y completada por el 2.º marqués de Stafford (posteriormente primer duque de Sutherland) y fue conocida como Stafford House casi durante un siglo.

Los Sutherland, liberales y amantes de las artes, atrajeron a muchos invitados distinguidos, entre los que estuvieron el industrial reformista conde de Shaftesbury, la autora antiesclavista Harriet Beecher Stowe y el revolucionario italiano Giuseppe Garibaldi.

Más de un siglo después, su grandiosidad permanece intacta y la casa es muy popular entre aquellos que la visitan.

Desde 1924 hasta poco después de la Segunda Guerra Mundial, Lancaster House fue la sede del Museo de Londres, pero ahora el gobierno la usa para recepciones y está cerrada al público excepto en ocasiones muy raras.