Estaba programada para ser lanzada como tercer sencillo del álbum en abril de 1994, pero los planes fueron abandonados posteriormente debido a que el líder del grupo musical Kurt Cobain, fue encontrado muerto ese mismo mes.

Pennyroyal es una hierba conocida comúnmente como poleo, usualmente utilizada para inducir al aborto.

La línea «I'm on warm milk and laxatives» («Estoy tomando leche caliente y laxantes») pudo referirse al abuso de heroína de Cobain, partiendo del hecho que varios adictos a veces consumen laxantes para combatir el estreñimiento provocado por el uso de la droga, y leche para reponer el calcio que se va perdiendo con su consumo.

Sin embargo, la canción no recibió un tratamiento propio en estudio hasta 1993, cuando fue grabada con colaboración de Steve Albini para In Utero.

La canción ha sido versionada por: Pese a que varias copias del sencillo de «Pennyroyal Tea» fueron destruidas, muchas fueron previamente vendidas.