Fue primo hermano de Diego Portales Irarrázaval.
Casó primero en Valparaíso el 24 de febrero de 1764 con María de las Mercedes del Solar y Lecaros, con quien tuvo 12 hijos, entre ellos a Carmen Irarrázaval y Portales, casada con Joaquín de Toro-Zambrano y Valdés, hijo del I Conde de la Conquista.
Contrajo segundas nupcias con Ana Josefa Fernández de Palazuelos y Martínez de Aldunate (tía de Diego Portales), con quien tuvo tres hijos.
Al abolirse la institución feudal de las encomiendas en 1791, compró Valle Hermoso en La Ligua.
Instaló un astillero en Papudo, un molino para pulverizar oro (o trapiche) en Illapel y una fundición de cobre.