Se encuentra localizado en la calle Strömgatan número 18, en Estocolmo central.

Sager House está localizada en el barrio de Estocolmo llamado Norrmalm, en la calle Strömgatan, en el lado norte del río Norrström Sager House se encuentra entre: Rosenbad, la Cancillería de Gobierno (en el oeste); el Ministerio para Asuntos Exteriores (el antiguo Arvfurstens Palats) y la Ópera Real Sueca en Gustav Adolfs torg (en el este).

Se encuentra frente al edificio del Parlamento (Riksdag, en la isla Helgeandsholmen), y el Palacio Real (en la isla Stadsholmen), y está conectado con ellos sobre el río Norrström a través de los puentes Riksbron y Norrbro, respectivamente.

En 1988 el edificio fue adquirido por el Estado sueco para ser convertido en la residencia oficial del Primer ministro de Suecia.

En 1893 Robert Sager remodeló el Palacio, incluyendo la creación de una nueva planta con un techo Mansard y una fachada estilo Neobarroco francés con detalles Neo-Rococó, que todavía pueden verse.