La banda firmó con el sello independiente Caroline Records y su subsidiario europeo City Slang,[2] y lanzaron su álbum debut, Pretty on the Inside, en agosto de 1991.
Pretty on the Inside fue un éxito crítico,[3] especialmente en el Reino Unido, donde el único sencillo del álbum, «Teenage Whore», debutó en el número 1 en la lista UK Indie Chart.
La banda pospuso la gira de promoción del álbum y reclutó a Melissa Auf der Maur.
En 1998, la banda lanzó su tercer álbum de estudio, Celebrity Skin, que debutó noveno en el Billboard 200.
«Malibu», un sencillo de Celebrity Skin, también fue certificado platino en Australia.