Sirvió en el frente occidental en la Primera Guerra Mundial y en 1916 fue ascendido a capitán.

En esta época ya empezó a entablar contactos con opositores al régimen nazi en la administración pública y los órganos de seguridad.

Cuando la Gestapo arrestó en 1943 a Hans von Dohnanyi y Dietrich Bonhoeffer por la "Operación 7", al descubrir los esfuerzos del grupo para rescatar judíos, la Gestapo concibió sospechas de la actitud de Oster.

En Flossenbürg todos fueron forzados a subir al patíbulo desnudos y ahorcados con cuerdas de piano para prolongar la agonía.

El sobreviviente de la resistencia Fabian von Schlabrendorff lo describió como "un hombre como Dios quiere: lúcido, sereno e imperturbable ante el peligro.