Debutó como entrenador en 1964 con la selección de fútbol de Japón, de la que era entrenador asistente y a la cual entrenó durante los Juegos Olímpicos de Tokio 1964.
Posteriormente entrenó a la selección de fútbol de Egipto y a la selección de fútbol de Estados Unidos.
En 1974 empezó su andadura por clubes, fichando por el Hertha BSC, aunque no llegó a dirigirlo en ningún partido.
En 1975 fue el Bayern de Múnich el que se hizo con sus servicios, llegando a ganar la Liga de Campeones de la UEFA en dos ocasiones, y la Copa Intercontinental en 1976.
También entrenó al Eintracht Fráncfort, Ittihad FC, Aris Salónica FC, Bayer Leverkusen, selección de fútbol de Malasia, selección de fútbol sub-23 de Corea del Sur y a la selección de fútbol de Tailandia en 1997, último club que entrenó.