En 1936 se casó con Peggy Craven y tuvieron dos hijos, uno de los cuales, la actriz Josie Lloyd (1940-2020), murió un año antes que su padre.

Lloyd comenzó a practicar su pasatiempo favorito de toda la vida, el tenis, con ocho años.

Entre sus oponentes tuvo a Charles Chaplin, Joseph Cotten y Spencer Tracy.

Lloyd todavía jugaba dos partidos diarios hasta julio de 2015, cuando sufrió una caída.

Noventa y un años antes, con once, había asistido al Game 1 de la Serie Mundial 1926 en el Yankee Stadium.