Parece ser que fue hijo natural de Felipe II y de Isabel Osorio (1522-1589), los cuales mantuvieron un romance cuando aquel todavía era príncipe.
De esta forma, a veces es nombrado como Pedro de Austria y Osorio, aunque el monarca nunca lo reconoció.
Parece que tuvo un hermano, Bernardino, también hijo de Felipe II.
La familia Osorio mantuvo el mayorazgo de Saldañuela y la propiedad del palacio construido por su madre Isabel hasta mediados del siglo XVII.
Se sabe que Pedro de Osorio tuvo dos hijos: