Fue educado para convertirse en albañil como su padre, pero su talento musical se hizo evidente mientras tanto.
Estudió composición con Carl Friedrich Christian Fasch y se unió a su Singakademie de Berlín en 1791.
Zelter entabló una estrecha amistad con Johann Wolfgang von Goethe y sus obras incluyeron arreglos de poemas del escritor.
Durante su carrera, compuso cerca de 200 lieder, así como cantatas, un concierto para viola (interpretado por primera vez en 1779)[3] y música para piano.
Zelter escribió una biografía sobre Carl Friedrich Christian Fasch, publicada por primera vez en 1801 por J.F.Unger en Berlín.