En su infancia se educó con tutores privados y asistió a una escuela hugonote en New Rochelle.
Siendo un aplicado estudiante logró ingresar al King's College[nota 1] a la edad de doce (12) años, del cual se graduó en 1768 y de donde obtuvo su maestría en 1771.
Estudió derecho con el juez William Smith y logró que se le admitiera en el colegio de abogados en 1775.
Su medio hermano Staats Long Morris fue lealista y general en el Regimiento n.º 36 de Infantería del Ejército Británico durante la Revolución de las Trece Colonias.
Su sobrino Lewis Richard Morris sirvió en la Asamblea General Vermont y en el Congreso de los Estados Unidos.