Estudió en el Berklee College of Music de Boston, Massachusetts, (1958-60) y en 1961 se unió al innovador quinteto de Chico Hamilton que contaba con Charles Lloyd entre sus músicos.Szabó inició su carrera como solista en 1966, grabando uno de sus mejores discos, Spellbinder, con temas como "Gypsy Queen", la canción que Santana convertiría en un gran éxito en su disco Abraxas (1970).Formó luego un quinteto innovador (1967-69) con la colaboración del guitarrista Jimmy Stewart y grabó varios discos notables a finales de los sesenta.La aparición de la música rock (especialmente, George Harrison, Eric Clapton y Jimi Hendrix) llevó a Szabó a experimentar exitosamente con la fusión, aunque también tomó en ocasiones una dirección comercial menos exitosa.Pero, al tiempo, se decantó por un tono más comercial, a pesar de que grabaciones como Mizrab se revelaron como éxitos de la fusión del jazz con el pop, la música gitana, india y asiática.
