Al nacer le pusieron el nombre Heinrich Johann Friedrich Ostermann.
Gracias a sus conocimientos en lenguas europeas, se convierte en el brazo derecho del vicecanciller Piotr Shafírov (1670-1739), aportándole su ayuda en el momento de las difíciles negociaciones que condujeron a la firma del tratado de Prut en 1771.
Durante el reinado de Catalina I (1725-1727), la autoridad del barón Osterman aumentó aún más.
Su talento le permitió conservar las reformas llevadas a cabo por Pedro el Grande.
Tras la crisis constitucional de 1730, Osterman no cambió sus ideas y no reapareció en la Corte hasta que Ana I fue instalada en el trono de Rusia como soberana autócrata.
Como ministro de Asuntos Exteriores, Osterman fue un hombre reflexivo y prudente.
El conde concluyó una alianza con Austria en 1726 que será la base de su diplomacia.
El objetivo era ocupar a Rusia para que no pudiera ir en ayuda de Austria.
Así, en 1741, Suecia le declara la guerra a Rusia por motivos fútiles.
Su hijo mayor, el conde Fiódor Andréyevich Osterman (1723-1804) fue senador y gobernador de Moscú (1773), mientras que su otro hijo, el conde Iván Andréyevich Osterman (1725-1811) fue embajador de Rusia en Estocolmo y más tarde canciller imperial, de 1781 à 1797.