Ohlhauser comenzó su carrera juvenil con el SV Sandhausen en 1958 antes de ir al Bayern de Múnich en 1961.

Tuvo un enorme éxito jugando para los muniqueses, jugando alrededor de trescientos partidos y anotando 186 goles.

También ganó varios trofeos, incluyendo la Recopa de Europa 1966-67 y la 1.

Tras cinco años con el club, se retiró en 1975 y enseguida tomó las riendas como entrenador del FC Winterthur.

Posteriormente dirigiría al FC Basilea entre 1982 y 1983.