Para pagar los gastos trabajaba en una heladería, llamada The Anchorage, donde conoció a Steven Tyler unos años después y cuyo primer sencillo fue una versión de la canción "I'm down " (The Beatles).
Siendo el guitarrista principal de Aerosmith se separó del grupo por problemas con las drogas y alcohol, a lo que se unió una pelea entre su esposa y la esposa del bajista de la banda, Tom Hamilton.
Desde el año 1979 hasta el año 1984, y junto a su compañero Brad Whitford, formó un grupo bajo el nombre de "The Joe Perry Project" que tuvo escasa popularidad y éxito.
Desde el año 2015 integra la banda Hollywood Vampires con Alice Cooper y Johnny Depp, dedicada a rendir tributo a la música de estrellas de rock fallecidas en los años setenta.
Ha tocado con celebridades como Bon Jovi, Guns N' Roses, Poison, AC/DC, Kiss, Bob Marley, Alice Cooper, Mick Jagger, Run DMC, Van Halen, entre otros.