Di Meola estudió durante un breve período en la Berklee School of Music en Boston a comienzos de los años setenta, antes de reemplazar en 1974 al guitarrista Bill Connors en el grupo de fusión Return to Forever (un grupo que incluía instrumentalistas como el teclista Chick Corea y el bajista Stanley Clarke).

Con su presencia, el grupo obtuvo un gran éxito comercial, con discos como Where Have I Known Before, de 1974; No Mystery, de 1975, y Romantic Warrior de 1976, que llevó a que Di Meola iniciase carrera en solitario.

Obtuvo gran repercusión musical el trío que formó con otros dos guitarristas, John McLaughlin y Paco de Lucía, para grabar en 1980 Friday Night in San Francisco.

A lo largo de los años 80 y 90, Di Meola aumentó su prestigio, tocando con artistas como Paul Simon, Jean Luc Ponty, Stanley Jordan, Chick Corea, Stanley Clarke, Paco de Lucía, y John McLaughlin.

Durante los años 90, Di Meola se concentró en la guitarra acústica para abordar las llamadas músicas del mundo (World Music).