[2]​ Fernando de Silva y Álvarez de Toledo fue un hombre ligado a la cultura, siendo un claro respresentante de las corrientes del iluminismo en España y amigo del filósofo Jean-Jacques Rousseau.

[2]​ El 8 de noviembre de 1753, al dejar la embajada en París, fue designado mayordomo mayor del rey Fernando VI, jefe de su Casa Real,[2]​ cargo que continuó ocupando al llegar al trono en 1759 el hermano del rey, Carlos III, si bien, un año después, pidió ser jubilado de dicho cargo.

El 17 de abril de 1754 fue igualmente nombrado sexto director de la Real Academia Española,[2]​ sucediendo también a su amigo José de Carvajal y Lancaster, cargo que desempeñó hasta su muerte en 1776.

Al frente de la institución el duque de Alba publicó el único tomo de la segunda edición del Diccionario de autoridades (1770), editando tres ediciones de la Ortografía (1763, 1770, 1775) y terminó la primera gramática académica, publicada en 1771.

[4]​ Ordenó construir al arquitecto francés Jaime Marquet el Palacio de los duques de Alba en Piedrahíta, provincia de Ávila, de estilo neoclásico, con un extraordinario patio de armas en el frente y unos jardines versallescos a su espalda.