Durante la Primera Guerra Mundial, se desempeñó principalmente como oficial de estado mayor.

En noviembre de 1914 es evacuado por una enfermedad desde el Frente Occidental con una infección pulmonar.

En julio de 1915 es evacuado nuevamente por otra enfermedad desde el Frente Oriental con problemas pulmonares y del corazón.

Una vez más fue postulado para la adjudicación de la orden prusiana Pour le Mérite, sin embargo no aprobada por la abdicación del emperador Guillermo II, el mes anterior.

Al terminar la guerra trabaja como agregado del general Hans von Seeckt, reorganizando el Ministerio de la Guerra, el encargado de la Reichswehr.

A pesar de ello, Adolf Hitler le reintegra al servicio por sus altos méritos tras estallar la Segunda Guerra Mundial.

A pesar de la resistencia heroica y decidida, Polonia se vio superada en el mes.

Ataca el 10 de mayo de 1940, del Grupo de Ejércitos B del Coronel General von Bock en el ala derecha alemana, avanzado en los Países Bajos y Bélgica hacia el norte, las fuerzas francesas y británicas.

Lo que hubiera en la mente de Hitler no puede ser verificado.

La invasión es finalmente abortada y von Rundstedt toma el mando de las fuerzas de ocupación para fortificar las defensas costeras en Holanda, Bélgica y Francia.

Su progreso fue inicialmente lento, pero consigue tomar Kiev en septiembre, donde según fuentes alemanas se rinden 665.000 soldados soviéticos.

En noviembre de ese mismo año, Rundstedt sufre un ataque al corazón.

Rehúsa ser hospitalizado y continúa su avance, alcanzando Rostov el 21 de noviembre.

Tras acabar con los últimos focos de resistencia, sigue avanzando hacia el Este para atacar Járkov y Rostov.

Se opone enérgicamente a continuar el ataque durante el crudo invierno ruso y aconseja a Hitler que ordene un alto para fortificar las posiciones, pero su postura no es aceptada.

Previamente al desembarco, von Rundstedt defendía que las reservas acorazadas debían mantenerse en estado operacional, de modo que pudieran acudir rápidamente hacia el sector más amenazado donde desembarcaran los aliados.

Su opinión era compartida por el comandante de la fuerza acorazada Geyr von Schweppenberg.

Rommel, por el contrario, insistía en disponer a las fuerzas acorazadas cerca de la costa, justo fuera del alcance de la artillería naval aliada, pues el dominio aéreo aliado no permitiría una mayor operatividad.

Guiado por sus experiencias en África, Rommel pensaba que las operaciones aéreas aliadas impedirían cualquier movimiento de tropas durante el día, e incluso lo dificultarían enormemente durante la noche.

También opinaba que no se produciría un desembarco tan al oeste como Normandía, y por tanto muy pocas reservas acorazadas deberían ser enviadas allí.

Finalmente, se llevó a cabo la decisión de Rommel, dado que la inactividad de Rundstedt desde su asignación al frente occidental había minado su autoridad.

Las divisiones acorazadas se dispersaron y sólo dos fueron asignadas a la costa norte francesa, al oeste del Sena.

Ya en 1943, los conspiradores intentaron ganarse el favor de los mariscales de campo más veteranos, como von Rundstedt, algo que no llegaron a conseguir.

Los acusados por el atentado contra Hitler fueron juzgados por Roland Freisler, y muchos fueron ejecutados.

Precisamente, a raíz del atentado, Rundstedt aceptaría formar parte de la Corte de Honor del Ejército, junto con el propio Guderian y Wilhelm Keitel.

Fue relevado del mando una vez más en marzo de 1945, tras expresar ante Wilhelm Keitel que Hitler debía firmar la paz con los Aliados en lugar de seguir embarcado en una guerra sin esperanzas.

Capturado junto con su hijo, Teniente Dr. Hans Gerd von Rundstedt, por tropas de EE. UU.

Los cargos contra él consistían en su posible implicación en los asesinatos masivos cometidos en territorios soviéticos ocupados.