En 1944 prestó servicio como Comandante en el campo de concentración de Struthof-Natzweiler donde participó directamente en el homicidio de 80 mujeres detenidas en ese campo, cuyos esqueletos fueron enviados a la Universidad del Reich de Estrasburgo para su examen.

Las condiciones infames del campo y la mortandad masiva de los prisioneros le ganó el mote a Kramer de "la bestia de Belsen" en la prensa internacional.

Según Olga Lengyel, Kramer sostuvo relaciones amorosas con la celadora Irma Grese.

Kramer fue detenido y golpeado por tropas británicas al liberar el campo de concentración siendo sometido a juicio por crímenes contra la humanidad en Tribunal Militar británico en Luneburg en el llamado "Juicio de Bergen-Belsen", condenado a muerte y ejecutado en la horca por los británicos en Hamelín, el 13 de diciembre de 1945 junto a Irma Grese y otros del personal de Belsen.

Josef Kramer fue uno de los personajes en la novela Holocausto (1978), de Gerald Green, donde se retrataba su participación en el holocausto judío de la Segunda Guerra Mundial.