[6] Garbage cae en una pausa indefinida a finales de 2003, pero una vez reagrupados, lanzan su cuarto álbum de estudio, titulado Bleed Like Me, en el 2005, que alcanzó su punto máximo en el puesto 4 en los Estados Unidos.
Butch Vig, el productor de discos tan influyentes como el Nevermind de Nirvana y Siamese Dream de The Smashing Pumpkins, decidió que quería formar un grupo y pidió a sus compañeros, los productores Steve Marker y Duke Erikson que se unieran a él.
Mackenzie y Angelfish), le pidieron que se uniera al grupo como vocalista.
Otra anécdota relacionada con el origen del nombre es que Butch Vig contribuyó con un remix en el álbum Fixed de Nine Inch Nails que, según un rumor, Trent Reznor calificó de basura (garbage).
Sus letras, emocionales y llenas de rabia, contrastan con su Hard rock/rock alternativo, lo que hizo al grupo particularmente popular entre jóvenes.
Garbage utiliza samples, bucles electrónicos, guitarras "grunge", y muchos otros efectos para producir temas melódicos, distintivos por la voz de la cantante escocesa Shirley Manson.
Más tarde, ese mismo año, salió al mercado su álbum debut, Garbage.
Garbage trabajó dos años en su siguiente álbum, tiempo durante el cual Shirley Manson ganó popularidad por ser una de los primeros artistas en mantener un blog.
Representó el lado más maduro y ecléctico del grupo, pero no tuvo ningún éxito significativo.
Aun así, el álbum consiguió alcanzar la posición número 6 en Reino Unido UK y la 13 en EE.
Durante el 2007, el grupo trabaja en una recopilación de sus sencillos más exitosos lanzados a lo largo de su carrera, como "Stupid Girl", "Only Happy When It Rains", "Why Do You Love Me", entre otros.
Además de esta nueva producción, Garbage también lanza su propio sello discográfico, llamado Stunvolume Records.
El sexto álbum de estudio y segundo grabado bajo su propio sello independiente Stun Volume se llama Strange Little Birds, como referencia a ellos mismos y a su canción "Even Though Our Love Is Doomed" incluida en la lista de canciones del álbum.
La reedición presenta una versión nunca antes escuchada del sencillo principal del álbum, "Androgyny", y Manson explica: "Queríamos celebrar el lanzamiento de nuestro tercer álbum de la misma manera que celebramos los 20 años de nuestros dos discos anteriores, ya que apreciar a este tercer hijo nuestro tanto como a sus predecesores".
[26] Un documental de Matt Whitecross titulado The Sound of 007 con una entrevista con Garbage se estrenó en Prime Video el mismo día.
[30] Entre sus influencias podemos citar, según la misma banda a: Beck, Blondie, Curve, David Bowie, Depeche Mode, Goodbye Mr.