Finalizado el Instituto (Gymnasium) y su año preuniversitario (Abitur) en 1907, Olbricht se unió al regimiento de infantería 106 en Leipzig como alférez.

La desconfianza de Olbricht hacia los nazis se afianzó tempranamente, sobre todo a partir del Putsch de Múnich de 1923, cuando se alineó con Hans Oster, Erwin von Witzleben y Georg Thomas, quienes se distanciaron del pujante movimiento nacional-socialista, preocupados por el atractivo que los nazis tenían para muchos militares.

Mandó la división desde el frente, incluso creando en una ocasión una improvisada unidad motorizada cargando tropas en su coche, de manera que se pudieran lanzar adelante y asegurar los puentes importantes antes de que fueran volados por el enemigo.

El gobierno fue capaz de recuperar el control usando tropas leales en pocas horas.

Esa noche, el Coronel general Friedrich Fromm, supuestamente para cubrirse, celebró un consejo de guerra sumarísimo por el que se condenó a los cabecillas del golpe.