Nació en Rabenau cerca de Meißen y Dresde, su familia pertenecía a la nobleza sajona.
Curso sus estudios en las universidades de Maguncia, Tréveris, Colonia (1508–1510) y Bolonia (1510–¿?
), Pero su bajo dominio del idioma latín reveló que no era especialmente culto.
Sin embargo, su herencia sajona lo convirtió en un enlace natural entre la corte papal y el elector Federico.
Más tarde, Miltitz fue desacreditado hasta el punto en que sus afirmaciones no tienen peso histórico.