Combinada con su contraparte acústica, «My My, Hey Hey (Out of the Blue)», la canción abre Rust Never Sleeps, un álbum grabado con el respaldo del grupo Crazy Horse mayoritariamente en directo, con sobregrabaciones posteriores en el estudio.
La canción, inspirada por el grupo Devo, el auge del punk y lo que Young consideraba como su creciente irrelevancia musical, supuso una revitalización para la carrera de Young, que obtuvo seguidores más cercanos al punk y al grunge.
Young se sintió tan afectado que dedicó su álbum de 1994 Sleeps with Angels a Cobain.
La muerte de Elvis Presley ese mismo año sirvió como una sentencia de decadencia para la música rock, algo que The Clash enfatizaron en la canción «1977» con el verso: «No Elvis, Beatles or The Rolling Stones in 1977!».
[4] Del miedo de Young a quedar obsoleto surgió una apreciación por la ética del punk y compuso la canción, inicialmente como un lamento acústico que se convirtió en «My My, Hey Hey (Out of the Blue)».
Tras embarcarse en una gira con Crazy Horse, la canción tomó nueva vida con un arreglo rock, interrumpido por solos de guitarra que inspiró a intérpretes de la escena grunge como Sonic Youth, The Meat Puppets, Pixies y Dinosaur Jr.
[5] Dos años después, Young contestó al comentario de Lennon: «El espíritu del rock and roll no es la supervivencia.
[6] La banda escocesa Big Country también grabó una versión que puede escucharse en el álbum Under Covers.
Otros músicos y bandas que han interpretado o grabado la canción incluyen a System of a Down, Dave Matthews Band, Cross Canadian Ragweed, Battleme, Rick Derringer, Nomeansno, El Tri, Negative, La Renga, Chromatics, Jake Bugg y Axel Rudi Pell.