A sí mismo un remero y jinete activo, estaba muy interesado en los deportes, y una reunión con el Barón Pierre de Coubertin le interesaba el restablecimiento de los Juegos Olímpicos.
En 1897, Brunetta d'Usseaux se convirtió en miembro del Comité Olímpico Internacional, que permaneció hasta su muerte.
Ese mismo año, Brunetta d'Usseaux fue nombrado Secretario de la COI.
Debido a la Primera Guerra Mundial, los Juegos Olímpicos nunca se organizaron.
El conde murió en circunstancias poco claras, en Francia en 1919, y no viviría para ver los primeros Juegos Olímpicos de Invierno en 1924.