Se casó en 1728 con María Josefa Pacheco Téllez-Girón de Toledo y Portugal, hija de los duques de Uceda, con quien tuvo una hija llamada María Portería Fernández de Velasco y Pacheco y otra hija, Ana.
Tuvo una temprana vocación religiosa que pronto desechó, pero que formó el cuerpo de un catolicismo ferviente, casi fanático, que le hizo reconvertir en 1745 el oratorio de su palacio en la madrileña calle de Piamonte, barrio del Barquillo, en una iglesia parroquial para uso público, bajo la advocación de San José, próxima al Convento de las Mercedarias Descalzas.
Durante un tiempo tuvo que retirarse a Peñaranda.
Todavía hubo una edición moderna por parte de Eduardo Barriobero en 1932.
Al morir dejó unos trescientos libros, en su mayoría piadosos, y 72 cuadros, más o menos de la misma temática, además de tapices, muebles y una colección de relojes.