Acerca de la canción, Foster dijo en una entrevista con la revista Billboard que «[escribirla] fue un golpe de suerte» y que la escribió cuando llevó a su entonces novia a su trabajo.

Además, afirmó que: «sólo puse un tambor simple y mi voz en diez minutos.

[5]​[6]​ El videoclip comienza con la banda tocando en un ensayo, pero mueren aplastados por un equipo de iluminación.

El video termina con los cuerpos sin vida de la banda acostados en un sillón mientras toda la producción se divierte en la fiesta.

El video musical fue nominado a los Grammys en la categoría "Mejor Video Corto"[6]​ El 8 de octubre de 2011, la banda interpretó «Houdini», «Pumped Up Kicks» y «Helena Beat» en el show Saturday Night Live.