La inteligencia jordana y la europea afirman que Zarqaui formó el grupo Jund al-Sham en 1999 con 200 000 dólares entregados por Osama bin Laden.
Fue entonces cuando se le juzgó y condenó en ausencia a muerte, por el ataque al Hotel Radisson donde murieron varios ciudadanos estadounidenses e israelíes.
La siguiente pista que se tiene de él ya le vincula directamente al grupo terrorista liderado por Bin Laden.
Pasado este periodo, en el que podría haberse reencontrado con Al Qaeda, se cree que huyó a Irak, a petición de la propia organización, tras perder una pierna durante un ataque estadounidense contra su base.
Su presencia en Irak en aquella época fue muy discutida, ya que no se confirmó hasta su aparición en un vídeo en abril de 2006.
Se desconoce si Zarqaui estaba en Irak cuando Estados Unidos comenzó la ofensiva contra el país en febrero de 2003.
Desde 2003 se le han atribuido, y él mismo ha reivindicado, numerosos atentados alrededor del mundo.
Según la necropsia que se le practicó al cadáver, falleció a consecuencia de una hemorragia pulmonar.