Derwall jugó después para el Alemannia Aquisgrán y Fortuna Düsseldorf en la División Oeste de la liga alemana durante 5 temporadas.

Cinco años más tarde llegó a la final de la copa con el Düsseldorf, que perdió 3-4 contra el VfB Stuttgart.

Años después ya en Alemania consiguió llevar al Fortuna Düsseldorf a la final de copa en 1962, perdiendo contra el F. C. Núremberg en la prórroga.

En 1970, fue nombrado sucesor de Udo Lattek como entrenador asistente del equipo nacional alemán bajo el legendario Helmut Schön.

Cuando se retiró Schön, también teniendo en cuenta los logros obtenidos en el torneo, Derwall fue elegido para ocupar su lugar como seleccionador nacional de Alemania.