Cuando era estudiante de Derecho en Leipzig, estudió música con Johann Sebastian Bach.

En 1741 fue a Berlín, donde estudió composición musical con Johann Joachim Quantz.

Se casó con la notable soprano Benedetta Emilia Molteni, un casamiento que el rey aparentemente desaprobó.

Durante su vida, Agricola escribió una serie de óperas italianas, así como lieder, preludios para corales, varias otras obras para instrumentos de teclado y música sacra, especialmente oratorios y cantatas.

Su fama reposa principalmente, en sus escritos teóricos y críticos sobre temas musicales.