Su abuelo, Antonio Virgili, "un hombre muy hábil en medicina y astrología", había enseñado filosofía en la Universidad de París; al igual que el propio hermano de Polydoro, Giovanni-Matteo Virgili, en Ferrara y Padua.

Fue ordenado sacerdote en diciembre de 1496 y entró al servicio del duque Guidobaldo I, hijo de Federico da Montefeltro, el singular mecenas del Quattrocento italiano.

En algún momento antes de 1502, Polidore entró al servicio del papa Alejandro VI.

A partir de ese momento recibiría numerosas prebendas y cargos (Scambesly, Lincoln, Hereford, Brent, Wells, Oxford).

Se relacionó con lo más granado del humanismo inglés: Richard Fox, William Warham, Tomás Moro, Richard Pace, Thomas Linacre, William Latimer, John Colet y William Lily, y durante años mantuvo correspondencia epistolar con Erasmo de Róterdam.