Joel era miembro anteriormente de una banda llamada The Hassles;[1] del que se separó con el batería Jon Small para formar Attila en 1969.
Su asociación creativa terminó en 1970, cuando Joel inició una relación con la esposa de Small, Elizabeth,[2] aunque esto no terminó con sus colaboraciones, como el video de Joel Концерт producido por Small, así como en el concierto Live at Shea Stadium.
[2] El propio Joel describió el álbum como "Una chorrada psicodélica":[2] Stephen Thomas Erlewine de Allmusic escribió: "Attila es sin duda el peor álbum lanzado en la historia del rock & roll infernal, en la historia de la música en sí misma.
Ha habido muchas malas ideas en el rock, pero ninguna supera la estupidez colosal de Attila".
[2] Una pista del álbum, "Amplifier Fire, Part 1 (Godzilla)," aparece en la caja recopilatoria de Joel en 2005, My Lives.