Comandó la División de Caballería SS Florian Geyer.
El 1 de abril, Rumohr fue nombrado comandante de la 8.ª División de Caballería SS Florian Geyer.
En noviembre de 1944, fue promovido a Brigadeführer y dirigió la división durante la lucha en Budapest.
Fue gravemente herido durante el intento de escapar de la ciudad.
Frente a la rendición al Ejército Rojo soviético, Rumohr se suicidó el 11 de febrero de 1945.