Hijo de Johann Aegidius Bach, nació en Erfurt.
Estudió con su primo Johann Sebastian Bach en Weimar, luego fue organista de la Kaufmannkirche de su ciudad natal desde 1695, más tarde en Magdeburgo.
Ahí tuvo la oportunidad de trabajar entre 1708 y 1712 con Georg Philipp Telemann, quien influyó en su obra.
Mantuvo una amistad de por vida con su famoso primo Johann Sebastian Bach.
Este último sucedería a su padre Johann Bernhard como organista en la Iglesia de San Jorge en Eisenach.