Su carrera comenzó en 2006 en el equipo amateur Heinz Von Heiden.
Sin embargo era un equipo muy pequeño y con un calendario muy limitado y se unió al equipo profesional de categoría Continental Team 3C-Gruppe Lamonta.
Se distinguió en su primera temporada al conseguir el octavo puesto en Giro de Münsterland en el esprint, pero también logró ganar el Campeonato Alemán de Ciclismo sub-23 y un séptimo lugar en el Campeonato del Mundo sub-23.
Gracias a sus buenos resultados Klemme se unió en 2009 al equipo ProTour Team Saxo Bank.
Debutó en la temporada 2010 con la intención de participar en las clásicas, en la Vuelta a España y en los campeonatos del mundo, donde sería escudero de André Greipel.