Fue el tercer hijo de Johann Tobias Krebs (1690-1762), quien desde el año 1710 era Cantor en la ciudad de Buttelstedt; esto no le impidió ir caminando, dos veces por semana, a Weimar para estudiar entre los años 1711 y 1716 con Bach, a quien le enviaría sus tres hijos para aprender su arte.
Pese a que era bastante pequeño, apenas un adolescente, su técnica y conocimiento musical le permitió ser (junto con Wilhelm Friedemann Bach, el hijo mayor de Bach) uno de los tres Prefectos del coro.
Este cargo le acarreó varios disgustos (especialmente con el rector Ernesti), viéndose obligado a sustituir a Bach cuando este tenía que dirigir los coros de otras iglesias.
Asistió a los disgustos de su maestro cuando el rector impuso distintos prefectos mal preparados y siempre le sacó del apuro dirigiendo él mismo, pese a que no tenía ni 20 años.
Era un alumno muy aplicado y querido por Bach, no solo por su relación musical, sino personal: en una ocasión dijo de él: es el único cangrejo de mi arroyo, jugando familiarmente con sus apellidos alemanes (Krebs, cangrejo, Bach, arroyo).