Cuenta con una parte baja, un primer piso, un patio y un parque que rodea todo el edificio.
En la planta superior se ubican: el despacho del primer ministro, una sala de reuniones, un comedor y varias dependencias privadas.
Aun así cuando este se hizo cargo del proyecto el grueso de la obra ya estaba concluida y Mazin se limitó a construir la entrada del edificio.
En 1808, la pareja cedió el edificio a Charles Maurice de Talleyrand quien lo usó para celebrar cenas y bailes donde se citaba la alta burguesía europea.
Decepcionada por la decisión tomada, la duquesa de Galliera abandonó París no sin antes ceder el edificio al emperador austro-húngaro para que este utilizara la residencia como embajada de su imperio en Francia.
Un año más tarde Léon Blum firmaría en su interior los conocidos como acuerdos de Matignon (donde se fijaban las 40 horas semanales y las vacaciones retribuidas).