Finalmente cambiaron el ritmo a un rock más directo, siguiendo la línea de «Start Me Up»m la canción rápidamente evolucionó en un poderoso rock, en el que Keith Richards hizo la transición del piano a la guitarra.
El lado B fue la poco conocida «Jump on Top of Me» que también aparece en la banda sonora de Prêt-à-Porter.
«You Got Me Rocking» apareció en la banda sonora de The Replacements en 2000.
Tocaron la canción unas cincuenta veces durante el A Bigger Bang Tour en el año 2005 y 2006.
Una grabación en directo durante la gira Bridges to Babylon Tour, fue incluida en el álbum en vivo No Security de 1998.