Creció en Charleston hablando inglés y gullah, lengua criolla afrocaribeña de su familia.

Entonces fue destinado a la Universidad de Georgetown para participar en un programa de inmersión lingüística en chino, y luego fue enviado a servir en China, Birmania e India, en el cuerpo de señales, periodo que, según sostuvo después, le abrió los ojos y lo introdujo en el mundo adulto.

[1]​ en esta época trabó amistad con Antonio Rodríguez-Moñino participando en su tertulia madrileña del café Lyon.

Su primera esposa fue Phyllis Phil Rivers, con la que tuvo tres hijos, y en 1969 se casó con la también hispanista Georgina Sabat de Rivers, fallecida en 2008,[1]​ con la que crio a cuatro hijos adoptivos.

En sus años postreros vivió en Coral Gables (Florida), pero se mudó a Maryland en 2013 para estar más cerca de su familia.