Su madre fue Julia von der Heyde Peña, hija de Carlos Luis von der Heyde y Ugarteche, fundador del Jockey Club del Perú, y Julia Peña y Costas (nieta del presidente Manuel Costas Arce).

Fue hermano del IV conde de Alastaya, Carlos Yrigoyen von der Heyde.

Cursó sus estudios universitarios en la Universidad Nacional Mayor de San Marcos, obteniendo el título de abogado.

Se casó en primeras nupcias con Rosa Larco de la Fuente (actualmente Condesa Potocka), con la que no tuvo descendencia.

Se volvió a casar en segundas nupcias con Gladis Fernandini Wais, de cuyo matrimonio tuvieron dos hijos: Jaime y Pedro Yrigoyen Fernandini.