En 1896, vio en una vidriera de una agencia de viajes un anuncio respecto a los Juegos Olímpicos de Atenas, por lo que más tarde contaría que "los clásicos griegos eran mi especialidad académica, por lo que no podía resistirme a no ir a los juegos Olímpicos".
Robertson pago 11 libras esterlinas para viajar a Atenas para la inauguración de los juegos olímpicos modernos.
Al arribar, quedó consternado cuando se enteró de que el lanzamiento de martillo, disciplina por la cual era especialista, no sería incluida en el programa de atletismo.
La pareja estuvo libre en la primera ronda, avanzando a la semifinal, garantizándose estar entre las tres mejores parejas del torneo sin jugar un solo juego.
[3] Robertson también es recordado por su actuación en la ceremonia de clausura de los juegos, cuando recitó una oda a la destreza atlética, que él había compuesto en griego.