[1]​ Pierre d'Assézat fue el propietario y Nicolas Bachelier el arquitecto del edificio, cuya construcción empezó en 1555.

Este hôtel particulier habría sido dos veces más grandes si se hubiera construido según el proyecto inicial, pero los vecinos no aceptaron las ofertas de Pierre d'Assézat, y no quisieron vender su terreno.

Pierre d'Assézat, rico industrial textil, no pudo disfrutarlo.

Murió arruinado en 1581, antes que las obras se hubieran completado.

El edificio siguió siendo propiedad de la familia Assézat hasta 1761.