Terminó por regentar este Hôtel para Richelieu, pero sus funciones causaron un gran escándalo cuando, en una representación privada, hizo pasar a la petite Saint-Amour, la plus grande gourgandine (pelandusca) de Paris, mientras que el señor Gaston d'Orléans, hermano del rey y príncipe de sangre, tenía las más grandes dificultades para entrar... Luis XIII se enojó con Richelieu, quien se lo tomó muy mal, con lo que Le Bois conoció la más grande desgracia.

Pero el cardenal no tardó en lamentar esta decisión, porque Boisrobert se le había vuelto indispensable.

Un día en que estaba enfermo, su médico le dijo: «Monseñor, todas nuestras drogas son inútiles, si no mezcláis un poco de Boisrobert».

Escribió entonces una orden donde ponía solamente Recipe Boisrobert, el cardenal siguió este consejo y recibió al abate.

Tras la muerte de Richelieu, Boisrobert se dirigió con menos éxito al Cardenal Mazarino, a quien sirvió fielmente bajo la Fronda.