Ya en los Juegos Olímpicos, donde partía como indiscutible favorito, no tuvo problemas para imponerse con 12,95 por delante de su compatriota Mark Crear (13,09) y del alemán Florian Schwarthoff (13,17) Esta fue la victoria más importante de su carrera deportiva.

Sin embargo falló en la final olímpica donde solo pudo ser 4º con una discreta marca de 13,23 en una prueba ganada por el cubano Anier García.

Una lesión en la corva que se hizo poco antes de los Juegos compitiendo en Japón, afectó a su rendimiento y probablemente le impidió ganar.

Sin embargo se encontró con dos rivales muy fuertes y mucho más jóvenes, el francés Ladji Doucouré y el chino campeón olímpico en Atenas Liu Xiang, que relegaron a Johnson a la medalla de bronce.

Además de sus éxitos internacionales, Allen Johnson ha sido siete veces campeón de Estados Unidos en los 110 m vallas (1996, '97, '00, '01, '02, '03 y '05) y cuatro veces campeón de los 60 m vallas indoor (1995, '02, '03 y '04) En 1997 le fue concedido el Jesse Owens Award, un prestigioso premio que se concede al mejor atleta del año en Estados Unidos.