En una entrevista para la National Public Radio, el líder Eugene Hütz citó a Band Of Gypsys, Parliament y Funkadelic como influencias musicales del grupo, y a Nikolái Gogol (homenajeado en el nombre de la banda), como una influencia ideológica.
Entre sus influencias también están Manu Chao, Fugazi, Kalpakov, Rootsman y The Clash.
En 2005, el grupo firmó con la discográfica de punk rock SideOneDummy Records.
La grabación de "Start Wearing Purple" del disco Voi-La Intruder, les dio a conocer en el Reino Unido, y fue regrabada para su disco Gypsy Punks, convirtiéndose en su primer sencillo internacional.
El 7 de julio de 2007, actuaron en una presentación en vivo en el Live Earth (Londres) junto a Madonna, con la que compartieron escenario, mientras juntos cantaban "La Isla Bonita".