En 1821, ingresó en el ejército francés de la Restauración borbónica contra sus tendencias bonapartistas y asistió a la coronación fastuosa del rey Jorge IV en Londres, donde ese mismo año formó un conocido círculo con el primer Conde de Blessington y la condesa.
En la primavera de 1823, se reunió con Lord Byron en Génova, hay correspondencia publicada del poeta de este período que contiene numerosas referencias a regalos y logros de D'Orsay y a su peculiar relación con la familia de Blessington.
Un diario que D'Orsay había mantenido durante su visita a Londres en 1821 en secreto fue sometido a inspección de Byron y elogiado por su conocimiento de los hombres y las buenas costumbres.
Uno de sus invitados más frecuentes era el príncipe Luis Napoleón.
En 1849 el conde quebró y fue a París con Lady Blessington, pero ella murió unas semanas después de su llegada, en 1852.