Fue el tercer sencillo que se lanzó de su segundo álbum, Live Through This, después de "Doll Parts" y "Miss World".
Esta canción fue lanzada después de un periodo de extensas giras por la banda, durante los años 1994 y 1995.
Courtney Love ha declarado que la canción fue escrita sobre su relación con el líder de los Smashing Pumpkins, Billy Corgan, en 1990,[1] y la letra habla desde el punto de vista de un narrador enojado que ha abandonado un romance.
La canción también explora temas de explotación sexual y autodegradación.
Courtney Love comenzó a escribir Violet en el verano de 1991, antes del lanzamiento del primer álbum de Hole, Pretty On The Inside.