En la práctica cumplía la función del Ministerio de Guerra que había sido suprimido en 1938.
En teoría el OKW era un organismo que coordinaba los esfuerzos del Ejército de Tierra (Heer), la Armada (Kriegsmarine) y la Fuerza Aérea (Luftwaffe).
Inicialmente tuvo poco control sobre las fuerzas armadas alemanas, pero al progresar la guerra, el OKW empezó a enviar cada vez más órdenes directas a las unidades militares, si bien la mayoría de estas unidades eran las que se encontraban en el Frente occidental y en el Mediterráneo.
De este modo, en 1942 el OKW comandaba de facto todas las fuerzas alemanas a excepción del Frente oriental, que estaban controladas por el Oberkommando des Heeres (OKH).
Durante el resto de la guerra Hitler manipuló este sistema bipolar para mantener bajo su control las decisiones más importantes.