Sus influencias como ellos mismos han afirmado son AC/DC, Judas Priest, Iron Maiden, Guns N' Roses, Black Sabbath, Mötley Crüe, Kiss y Poison.

Dirty Penny originalmente se llamaba Antidote irónicamente, ya que hacían versiones de Poison (en inglés veneno), pero tuvieron que cambiar de nombre porque una banda danesa se llamaba igual.

Dirty Penny empezó a tener más popularidad en Estados Unidos ganando la "Battle of the Bands" (batalla de las bandas) promocionada por jpotmusic.com.

Su música forma parte de la nueva ola de glam metal que está surgiendo en los últimos años, y que está formada principalmente por Dirty Penny, Crashdïet y Vains of Jenna, las dos bandas suecas.

El bajista Tyno Vicent (nombre original Tyno Molinaro) dijo una vez de la banda: "Estábamos muy metidos en el punk de la vieja escuela, como The Misfits cuando nos empezó a interesar la música, luego nos metimos en el glam para joder a nuestra ciudad...