Nacido en Charleston, Carolina del Sur, Rutledge inició una carrera jurídica después de estudiar en Middle Temple en la City de Londres.

Rutledge ejerció como delegado en el Congreso de la Ley del Timbre, que protestó contra los impuestos establecidos para las Trece Colonias por el Parlamento de Gran Bretaña.

Al año siguiente también participó en la convención de Carolina del Sur para ratificar la constitución.

Como la vacante se produjo durante un largo receso del Senado, Washington nombró a Rutledge como el nuevo presidente del Tribunal Supremo mediante un nombramiento de receso.

Rutledge renunció a su cargo poco después y se retiró de la vida pública hasta su muerte en 1800.