Cuando Loaded fue lanzado en 1970, el puente de la canción fue editado aparte.
La versión de "Sweet Jane" en el 1969: The Velvet Underground Live es una versión temprana con una simple progresión (tres acordes en lugar de cuatro acordes) y con letra notablemente diferente.
La progresión de acordes consiste en tres básicos acordes mayores sobre dos compases, en Re, (Re-La), Sol, (Sol-La), Re, usados ambos en la estrofa y en el estribillo.
En lugar de una intro de estrofa estándar, esta versión empieza con lo que más tarde será usado como una pieza de transición al puente, usando los mismos acordes que en la estrofa pero con melodía diferente ("Anyone who ever had a heart wouldn't turn around and break it").
Después de un estribillo, hay dos compases en re, seguidos por el puente, que consiste en dos progresiones: Re Do menor Sol La Si Si (x2), sobre el cual los versos "Heavenly wine and roses" son cantados, seguido por Mi Si Re La (x2), acompañado por "la-la-la...".