La familia de Williamson se trasladó a Detroit, Míchigan cuando James estaba en el instituto.
Formó su primera banda de rock'n'roll, The Chosen Few, con Scott Richardson al año siguiente.
Tras graduarse en el instituto, Williamson viajó a Nueva York en 1969 donde coincidió con la banda The Stooges, que estaban grabando su álbum de debut.
David Bowie ofreció al cantante Iggy una oportunidad para grabar en Londres, y finalmente se le unieron los hermanos Asheton, con Ron al bajo (habiendo sido el guitarrista con The Stooges).
Williamson coescribió todas las canciones junto a Iggy y tocó todas las guitarras del tercer disco de los Stooges, Raw Power.