A partir de entonces acabó por convencerse de que Hitler no podía cambiar para bien, y que él y el partido nazi debían ser expulsados del poder.

Llegó entonces a ser un personaje clave en las conspiraciones habidas para derrocar a Hitler, y hubiera sido el jefe del Estado provisional si el atentado del 20 de julio de 1944 hubiera tenido éxito.

Entre 1931 y 1933 escribió un importante manual de táctica militar (Die Truppenführung), lo que posibilitó que en 1933 fuese destinado al Cuartel General, el mismo del cual con posterioridad llegaría a ser jefe dos años más tarde.

En julio de 1934 mostró disconformidad con la política exterior del régimen.

En la película Valkyrie (2008) fue interpretado por el actor inglés Terence Stamp.