Esto llevó a que varias de las grandes compañías discográficas se interesaran en ficharla.Un mes más tarde, Too Pure publicaría Dry, su álbum debut, que contenía «Dress» y «Sheela-Na-Gig», su segundo sencillo.Estructuralmente, Harvey continuó usando composiciones complejas, al utilizar «firmas de tiempo extrañamente sesgadas y estructuras de canciones retorcidas»,[14] resultando en canciones que "se inclinan hacia el performance art".[16] Hacia fines del otoño de 1992, Harvey y su banda se embarcaron en una breve gira por Estados Unidos.Cuando esta concluyó en diciembre de ese año, se quedaron en Norteamérica para grabar su nuevo álbum en los Pachyderm Recording Studios en Cannon Falls, Minnesota.Harvey reclutó al músico e ingeniero de sonido Steve Albini para registrar el disco; según ella había admirado el trabajo que Albini había realizado con bandas como Pixies, Slint, The Breeders y The Jesus Lizard.[20] La portada del álbum muestra a Harvey desnuda y balanceando su cabello empapado en el aire.Debido al pequeño tamaño de la habitación, tuvo que colocar su cámara contra la pared frente a Harvey y no podía mirar a través del visor de la cámara.Ella protestó ante esta decisión, respondiendo, «Se supone que es así; es parte de la imagen».El veterano locutor británico John Peel, un seguidor de Harvey desde el comienzo de su carrera, añadió: «Hemos quedado tan sorprendidos al escuchar este álbum, cuyo sonido que vuelve una y otra vez implantándose en nuestras conciencias».[40] Rockdelux lo describió como «un nuevo espacio para que emerja en toda su grandeza el paisaje desolado, tenso y atormentado de un talento tan gratificante como perturbador».«Yo lo hago todo para mí misma», dijo, «y yo estaba contenta con eso, realmente no escucho cuando la gente dice cosas buenas de mi trabajo porque tienden a no darme elogios por nada.[26] En 2007 el sitio web español Jenesaispop escribió que «lo mejor del punk, el blues y el rock, sin aditivos artificiales ni poses absurdas, se alían con una PJ que suena rota, desgarrada, en estado de gracia absoluto, capaz de retratar como pocos autores una pasión desesperada hasta la violencia o la enfermedad».[47] Al ser aclamado por la crítica, Rid of Me obtuvo diversos reconocimientos: apareció en el top diez de lo mejor del año en varios medios de prestigio, como The Village Voice, Spin, Melody Maker, Vox y Select y fue escogido como el número uno de los mejores álbumes internacionales por la revista Rockdelux.[51] En 2011, Slant Magazine clasificó a Rid of Me como el 25º álbum más grande de los años 90.La gira comenzó en el Reino Unido en mayo, y en junio se trasladaron a América.Maria Mochnacz documentó varios aspectos de la gira, y sus imágenes se utilizaron para crear el álbum en vídeo Reeling with PJ Harvey (1994).
