Siendo joven entró en un monasterio benedictino, donde adquirió una formación musical temprana; más tarde se hizo sacerdote.
Durante la década precedente los Sforza, usando al compositor Gaspar van Weerbeke como reclutador, habían convertido el coro en su capilla en Milán en uno de los conjuntos musicales más grandes y distinguidos en Europa: cantantes-compositores como Alexander Agricola, Loyset Compère y Johannes Martini habían trabajado allí.
Gaffurio permaneció en su cargo catedralicio durante el resto de su vida, y allí conoció a Josquin Des Pres y Leonardo da Vinci.
Sus libros tenían un propósito pedagógico, y proporcionan a un joven compositor todas las técnicas necesarias para aprender su arte.
Gaffurius escribió misas, motetes, composiciones sobre el Magníficat, e himnos, principalmente durante sus años milaneses.