[1][2] Representó a Carolina del Sur en el Congreso Confederado Provisional en 1861 y firmó la Constitución de los Estados Confederados, aunque se ha indicado que se negó a dar un beso a la Biblia al jurar la constitución.
[3] Withers es también notable por su cartas sexualmente explícitas escritas en 1826 a un amigo universitario, el futuro gobernador James Henry Hammond, con quien Withers tuvo una relación homosexual.
Las cartas, que se encuentran entre los papeles de Hammond en la Biblioteca Caroliniana del Sur, fueron publicadas por primera vez por el investigador Martin Duberman en 1981, y tienen la particularidad de ser una rara evidencia documental de relaciones homosexuales en los Estados Unidos anteriores a la guerra civil.
[4][5] Withers se casó con una tal señorita Boykin (cuñada de Stephen Decatur Miller, gobernador de Carolina del Sur), con quien tuvo varios hijos.
[1][6] Withers falleció en Camden, en el condado de Kershaw (Carolina del Sur) y fue enterrado en el cementerio cuáquero de la ciudad.