Otro hermano fue el congresista Richard Bland Lee, y el future presidente Zachary Taylor fue un primo lejano.
Lee matriculó en el College of New Jersey en Princeton, Nueva Jersey en 1775 y más tarde estudió el derecho con Jared Ingersoll en Filadelfia antes de volver a Virginia.
[4][5] En 1789, Charles se casó con Anne Lee, su prima segunda y hermana de Richard Henry Lee, y vivirían en Alexandria hasta la muerte de Anne.
[9] Después de ser admitido a la abogacía, Lee fue abogado en Alexandria, junto con sus hermanos, primo, y tío.
[cita requerida] Lee se murió en 1815 en el Condado de Fauquier y está enterrado en Warrenton.