La familia Jarvis se estableció en Filadelfia; allí pasó su infancia y comenzó su formación artística.
Mostraba un estilo muy particular tanto en su vestimenta como en sus costumbres y sus mots eran frecuentemente objeto de chismorreo.
En 1809, Jarvis contrajo matrimonio con Betsy Burtis (quién murió cuatro años más tarde, en 1813, dejándolo con dos niños).
Su aprendiz, Henry Inman, probablemente le acompañó en estos viajes hasta que pusieron fin a su relación profesional en 1822.
Jarvis fue también un personaje peculiar, conocido por su vestimenta ostentosa, sus modales frívolos y su propensión a consumir alcohol.
Era conocido por ser un contador de historias muy divertido y tuvo numerosos vínculos con el mundo del teatro.