Hijo de un zapatero, nació en Newton, cerca a Rugby, Warwickshire y asistió a la escuela primaria, siendo expulsado después de habérsele acusado de robar al director.
Tuvo diferentes oficios, incluyendo comerciante de maderas, periodista e impresor, hasta que concibió la posibilidad de crear un periódico que abarcase una amplia gama de temas respecto a la educación pública, incluyendo comercio y poesía, e intentó convencer a diversas librerías e impresores londinenses a aceptar la idea, pero nadie mostró interés en ello, asumiendo por sí mismo esa tarea.
Como buen hombre de negocios, Cave rara vez abandonó Clerkenwell, en donde estaban sus oficinas; e hizo uso de un gran número de contribuyentes, incluyendo a Samuel Johnson, el más famoso de ellos, a quien Cave le dio empleo por varios años.
En 1742 compró Marvels Mill en Northampton y lo convirtió en un molino, posiblemente la primera hilandería potenciada por vapor en el mundo.
Fue aparentemente rentable, aunque sólo de una manera modesta; y fue clausurado en 1761 (o probablemente un poco después).