Käser se desempeñó como secretario general bajo tres presidentes de la FIFA: los ingleses Arthur Drewry (1955-1961) y Stanley Rous (1961-1974) y el brasileño João Havelange (1974-1981).
[1][2] Eso significa que, en 1981, Blattler tomó el trabajo de su suegro (Käser no asistió a la boda).
[2] Käser fue elegido secretario general de la FIFA en 1960 durante el mandato del inglés Arthur Drewry, siendo ratificado por su sucesor Stanley Rous, de quien fue su mando derecha.
Desde que Havelange fue elegido presidente, Käser empezó a recibir información de que había sobornado a los delegados de Suramérica, Centroamérica, África y Oceanía para que votasen por él, en especial pagando costosos hoteles y pasajes de primera clase.
Anteriormente, Käser había intentado ser sobornado por parte de Horst Dassler, dueño de Adidas, quien intentó que Käser intercediera por él ante el presidente Stanley Rous, sin éxito.