Es el padre del político y empresario Germán Vargas Lleras, exvicepresidente de Colombia entre 2014 y 2017.
[3][4] Germán estuvo casado en segundas nupcias con Ana Gómez Jaramillo Contrajo primeras nupcias con Clemencia Lleras de la Fuente, una de las hijas del político colombiano Carlos Lleras Restrepo (presidente de Colombia en 1966 y 1970) y de su esposa, la española Cecilia de la Fuente (primera dama en el mismo período).
Su primer suegro era primo segundo del también expresidente liberal Alberto Lleras Camargo, quien era nieto del estadista Lorenzo María Lleras.
Así mismo su suegro era hijo del científico Federico Lleras Acosta.
Tuvo 3 hijos con Clemenciaː Enrique, José Antonio y Germán Vargas Lleras,[5] vicepresidente de Colombia entre 2014 y 2017 durante el gobierno de Juan Manuel Santos, y candidato a la presidencia en el 2018, con resultados desastrosos.