En su infancia, Harold Vanderbilt ocupó parte de sus veraneos en las mansiones Vanderbilt: la propiedad Idle Hour en Long Island, Nueva York en la ribera del Connetquot River, Marble House en Newport, Rhode Island, y más tarde en Belcourt (la mansión en Newport de su padrastro, Oliver Belmont).

En 1925, construyó su propia y lujosa casa de vacaciones en Palm Beach, Florida a la que llamó "El Solano".

La casa es también notable por haber sido comprada por el ex-Beatle John Lennon poco antes de su asesinato en 1980.

"[1]​ En 1936, Vanderbilt, con la asistencia de los otros tres había desarrollado un conjunto de reglas alternativas, las había impreso, y despachado una copia a cada regatista que Harold conociera personalmente o por su nombre, tanto en los Estados Unidos como en Inglaterra.

Vanderbilt continuó trabajando con los diversos comités de la North American Yacht Racing Union hasta que finalmente en 1960 la International Yacht Racing Union (predecesora de la International Sailing Federation o ISAF) adoptó las reglas que Vanderbilt y los norteamericanos habían desarrollado durante el cuarto de siglo anterior.

Dirigió la institución por un tiempo en la historia en que la integración racial del cuerpo de estudiantes era un asunto divisionario y explosivo.

También fue autor de diversos libros sobre el tema del bridge, siendo su obra más notable "The Vanderbilt Club".

En 1969, la World Bridge Federation (WBF) nombró a Vanderbilt su primer miembro honorario.

Además de marino, Vanderbilt fue un piloto licenciado, adquiriendo un Sikorsky S-43 "Flying Boat" en 1938.

Un sobrino, Barclay Harding Warburton III, fundó la American Sail Training Association.