Entre 1952 y 1972 fue el quinto presidente del Comité Olímpico Internacional (COI), el único estadounidense en conseguirlo.
Tras retirarse del atletismo, Brundage se convirtió en dirigente deportivo y alcanzó cierta fama entre las federaciones estadounidenses.
[4] Durante su mandato, Brundage fue un convencido defensor del deporte amateur y contrario al profesionalismo y comercialización de los Juegos Olímpicos, aun cuando el deporte profesional empezaba a ser una realidad en la sociedad contemporánea.
En su último gran evento, los Juegos Olímpicos de Múnich 1972, generó controversia al negarse a suspenderlos tras el asesinato de 11 deportistas israelíes en la Villa Olímpica, pronunciando las palabras «Los juegos deben continuar».
[5] Tras retirarse del COI a los 85 años, Brundage contrajo matrimonio con una princesa alemana y pasó sus últimos días en Garmisch-Partenkirchen, donde falleció en 1975.