Kleiman nació en Koog aan de Zaan, Países Bajos, y conoció a Otto Heinrich Frank en 1923 cuando estaba tratando de establecer una sucursal del Banco Michael Frank en Ámsterdam.

Kleiman fue registrado como apoderado del banco en mayo de 1924 y se le concedieron poderes totales en diciembre del mismo año, cuando el banco entró en liquidación.

Desde 1933, cuando la familia Frank huyó a los Países Bajos para escapar de la persecución nazi en Alemania, ya habían establecido una amistad cercana.

Johannes Kleiman fungió oficialmente como contador tanto para Opekta como para Pectacon.

Después de la publicación del Diario de Ana Frank, donde detalla sus dos años en la clandestinidad, Kleiman guio con regularidad a periodistas y visitantes al antiguo escondite que había sido desalojado a inicios de los años 1950.