Su pastorado fue tormentoso: un grupo abierto de feligreses se opuso a su ordenación; en 1751 fue destituido tras cargos contra su carácter moral que, según una biografía, «fueron respaldados por pruebas y también por su propia confesión».Continuó predicando durante dos años más, llenando púlpitos vacantes, mientras estudiaba medicina y enseñaba en la escuela.En 1752, se casó con Abigail Burr de Fairfield, Connecticut; ella murió al año siguiente.Cuando estos colonos se mudaron al Distrito Midway – ahora el Condado de Liberty – en Georgia, Hall los acompañó.La familia de Hall huyó al norte, donde permaneció hasta la evacuación británica en 1782.En enero de 1783 fue elegido gobernador del estado, cargo que ocupó durante un año.
