Entró al servicio diplomático en los '70 y era embajador en la ONU cuando entró al país el contingente militar de la Unión Soviética en 1979 (al inicio de la guerra civil).
Después de este hecho, abandonó su posición y pasó a colaborar con los muyahidines.
En 1996 fue nombrado ministro de Asuntos Exteriores, aunque por un breve período al llegar los talibanes a Kabul y hacerse con el control de la capital.
Ghafoorzai continuó entonces trabajando con la oposición a los talibanes, agrupada como «la Alianza del Norte».
El 11 de agosto de 1997 fue designado primer ministro del gobierno de Burhanuddin Rabbani, pero diez días más tarde falleció en un accidente aéreo en Bamiyán.