Nació en Tours, ahora en Indre y Loira, Pallu fue reclutado por Alexandre de Rhodes, SJ como laico voluntario del clero para ser misionero en Asia, junto con Pierre Lambert de la Motte e Ignace Cotolendi.[5] Con Lambert, Pallu fundaría en 1665 - 1666 el seminario general de Ayutthaya, Siam[7] (el Seminario de San José, en el origen del Colegio General ahora en Penang, Malasia).[9] En 1674, Monseñor Pallu navegaba a su arquidiócesis en Tonkín, pero se encontró con una tormenta y tuvo que desembarcar en Manila.Fue encarcelado por los españoles y lo pusieron en un barco de Acapulco a España para ser juzgado.Finalmente fue liberado gracias a la intervención del Papa Inocencio XI y Luis XIV.