Su hermana, Pauline Payne Whitney (1874–1916), se casó con Almeric Hugh Paget, 1er Barón de Queenborough (1861–1949), y su hermana menor, Dorothy Payne Whitney (1887–1968), contrajo matrimonio con Willard Dickerman Straight (1880–1918) y posteriormente con Leonard Knight Elmhirst (1893–1974) tras la muerte de Straight.

El campo de polo cercano a Saratoga denominado "Whitney Field" lleva su nombre.

Fue miembro de la junta directiva del Montauk Yacht Club y compitió con su yate Vanitie en la Copa América.

Su récord de seis victorias en el Preakness Stakes se mantuvo hasta 1968, cuando Calumet Farm lo batió.

El potro de Whitney Burgomaster ganó el Belmont Stakes en 1906 y también recibió el premio al Caballo del Año.

Whitney, quien conservó la propiedad hasta 1989, cuando se convirtió en parte de Gainesway Farm.

[5]​ Tuvieron tres hijos:[6]​[5]​ Harry Whitney murió en 1930 a la edad de cincuenta y ocho años.