En 1796, sus dos tíos abuelos sin hijos, Fiódor e Iván Osterman, hermanos de su abuela paterna, le dieron su apellido, el título de conde y una gran fortuna.

El conde Osterman-Tolstoy permaneció en activo hasta 1826, tras la muerte de Alejandro I se retiró y comenzó a viajar por Europa y Oriente Próximo en compañía del erudito Jakob Philipp Fallmerayer.

En 1831 fue asesor militar de Ibrahim-pasha en Egipto y participó en acciones contra los turcos.

El conde Osterman-Tolstoi estuvo casado con la princesa Elisabeth Alexeevna Galitzine (1779-1853) desde 1799; no tuvieron hijos.

Existe un grabado, publicado en Pisa en 1827, en el que se representa al conde Osterman-Tolstoi sentado junto a un cochecito con un bebé dormido y dos niños mayores jugando cerca; la inscripción dice: "Je me flatte que c'est les derniers faries (sic).

Osterman-Tolstoi se instaló finalmente en Le Petit-Saconnex, en Ginebra (Suiza), en 1837, donde murió en 1857.