Kramer nació en Schneidemühl (entonces Provincia de Posen, hoy Piła en Polonia), donde se crio.
En 1919 se unió a la Liga de los Jóvenes Comunistas de Alemania (KJVD), del Roten Studentenhilfe entre 1924-1927 y se hizo miembro del Partido Comunista de Alemania (KPD) en 1929.
En 1937 superó un curso de "Tácticas militares" en la Escuela militar del Ejército Rojo en Tambov.
Participó en la Guerra civil española como voluntario en las Brigadas internacionales y llegó a ser jefe de ingenieros de la XI Brigada Internacional, unidad donde se agrupaban los voluntarios alemanes.
Después del ataque alemán a la Unión Soviética, fue enviado a Samara (Kuybyshev) en octubre de 1941 junto con otros emigrantes comunistas alemanes.