El joven John asistió a la escuela secundaria de Dalkeith, donde tenía fama por ser un entusiasta estudiante, y se matriculó en la Universidad de Edimburgo para estudiar medicina, (su padre le había marcado para convertirse en un top chyrugeon), pero abandonó sus estudios y entró en negocios.
Allí, se dedicó a la ciencia y el arte.
En 1753, después de haber sido un visitante constante de la familia de Adam, y ser un amigo cercano del famoso arquitecto Robert Adam, se casó con Susannah Adam, la hermana menor de Robert con quien tuvo siete hijos, todos ellos murieron solteros.
En 1793, Clerk se había retirado, pero aun así se movió entre Eldin y Edimburgo, después de haber comprado una casa en Princes Street en 1788, con vistas al castillo.
Llevó a cabo varios estudios geológicos con James Hutton, en la década de 1780, y acompañó a Robert Adam en las giras para realizar dibujos.