El dos veces internacional húngaro llevó al FC Bayern de Múnich a la cima como entrenador.
Pál Csernai debutó como futbolista profesional en 1952 a los 20 años de edad con el Csepel SC.
Tras permanecer cuatro años en el club fue traspasado al Karlsruher SC, con quien ganó el Campeonato del Sur de Alemania en 1956 y 1958, otras dos Bundesligas en ambos años y una Copa de Alemania.
Tras su retiro como futbolista en 1965 se convirtió en el entrenador del Berliner FC Alemannia 1890.
Posteriormente también entrenó al SSV Reutlingen, Royal Antwerp FC, Eintracht Fráncfort, FC Bayern Múnich, PAOK Salónica FC, SL Benfica, Borussia Dortmund, Fenerbahçe SK, BSC Young Boys, a la selección de fútbol de Corea del Norte, Hertha BSC y finalmente al FC Sopron, último equipo que entrenó y con el que se retiró definitivamente en 1995.