Su madre era hija del Marqués de San Jorge, Jorge Miguel Lozano de Peralta y de la Marquesa María Tadea González de Manrique, quien a su vez era hija del político español Francisco González Manrique y sobrina del político Antonio González Manrique.

Por esta línea familiar, José María era sobrino de Jorge Tadeo Lozano y primo Antonio Ricaurte.

Portocarrero contrajo nupcias con Josefa Ricaurte Galavis (o Galavís).

Su hijo mayor se unió en matrimonio con Dolores Caycedo, sobrina de Domingo Caycedo y nieta de Luis Caycedo y Flórez.

De éste matrimonio desciende Andrés Pastrana Arango, ya que su abuela "Maruja" Vega Jaramillo era nieta de Clementina Portocarrero, hija de José María y Dolores, y por lo tanto bisinieta de Portocarrero Lozano.