Su padre es tataranieto del ilustrado criollo y político neogranadino, José Manuel Restrepo Vélez (a quien debe su nombre José Manuel).[5][6] Un medio hermano de José Félix fue el padre del abogado Pedro Antonio Restrepo, padre a su vez del expresidente Carlos Eugenio Restrepo.[7] Por último, una de las bisnietas de José Félix, Amalia Restrepo, se casó con el científico Federico Lleras Acosta,[8] con quien tuvo al expresidente Carlos Lleras Restrepo, primo segundo a su vez del expresidente Alberto Lleras Camargo.Así mismo, su trastatarabuela, Sixta Tulia Concepción Santander y Pontón (casada con el exalcalde de Bogotá Manuel Suárez Fortoul y a su vez sobrino del militar y prócer Pedro Fortoul), era hija del expresidente Francisco de Paula Santander y de su esposa Sixta Pontón.El expresidente Santander era primo de Pedro Fortuol, y tiene el grado de transretatarabuelo (abuelo quinto), respecto de Restrepo Abondano, quien a su vez es el bichozno o nieto quinto del expresidente.
Su abuelo quinto, el expresidente Francisco de Paula Santander.