Fernando Joaquín Fajardo fue hijo de don Pedro Fajardo, V marqués de los Vélez y de su segunda mujer, doña María Engracia Álvarez de Toledo Portugal, hija del VI conde de Oropesa, aya del rey Carlos II de España.

La figura principal de la red de contactos fue su madre, ya que como aya del rey, gozaba de la confianza de la reina Mariana de Austria y durante muchos años fue la persona más próxima a Carlos II.

Su función como aya unida a su simpatía hacia el valido Juan Everardo Nithard, hizo probable que los primeros cargos del marqués en la administración estuvieran directamente relacionados con la influencia de su madre en la Corte.

[1]​ El heredero de todos los títulos de la casa era su hermano Pedro, pero decidió ser clérigo, pasando don Fernando a ser el titular de todos los títulos.

[2]​ Posteriormente formó parte del Consejo de Estado y más tarde ocupó la presidencia del Consejo de Indias.