Joe Ely vivió desde los 12 años en Lubbock, Texas, y asistió a la Monterey High School.

En 1970, con sus compañeros de Lubbock Jimmie Dale Gilmore y Butch Hancock, formaron The Flatlanders.

Yo era un poco el tipo del rock and roll, y casi tuvimos una tríada.

[6]​ Ese mismo año su banda tocó en Londres, donde conoció al grupo de punk The Clash.

The Clash rindió homenaje a Ely en su canción "If Music Could Talk" que se lanzó en el álbum de 1980 Sandinista!