Su padre, el conde Giovanni Tosti, descendía de un antigua familia de Calabria, murió joven, y así que su madre, Vittoria Corigliano, confió el cuidado del niño a su tío, un monje en Monte Cassino.
En 1819 Tosti fue alumno en la abadía, lo que despertó tempranamente una inclinación hacia la vida monástica.
Pio IX intervino personalmente para asegurar la liberación del encarcelado Tosti, quien, como relata el Cardenal Alfonso Capecelatro, había sido acusado de pertenecer a una banda de conspiradores asesinos.
Dolido por estos acontecimientos, Tosti rechazó una cátedra en la Universidad de Pisa, pero más tarde se convertiría en el Archivero del Vaticano, bajo León XIII.
Encargado por el Papa para negociar la restauración de San Pablo a los Benedictinos, Tosti esperaba efectuar una reconciliación oficial entre el Vaticano y el Quirinale.