A los seis años quedó huérfano de padre trasladándose a Ávila con su tío Jacinto García de Aragón para realizar allí sus primeros estudios.
Regresó posteriormente a Valladolid donde terminó sus estudios de Jurisprudencia, Filosofía y Teología.
En tan grave situación, Silvela fue requerido como intermediario entre españoles y franceses por su perfecto conocimiento del idioma galo.
Comprendiendo que esta confusión podía implicar serios peligros para su familia, tomó la decisión de partir a Burdeos donde fijó desde entonces su residencia junto con su madre, mujer e hijos.
En la ciudad de Burdeos fundó el "Colegio Silvela", que se convirtió con el tiempo en un importante centro de educación para españoles y americanos.