Silvestre comenzó a jugar al fútbol con la Academia de Fútbol de Rennes en Bretaña y comenzó su carrera en la liga con el club francés en la temporada 1995-96.
Para el Inter jugó sólo una temporada, aunque en poco tiempo logró ganarse el interés del Manchester United, que lo contrató en 1999.
Esta fue la primera negociación entre el Manchester Unitedy el Arsenal desde Viv Anderson, quien cambio de equipo en 1987.
En el Arsenal, tan solo disputó 26 partidos de Premier League.
Después de dos años en los Gunners fue despedido y se convirtió en agente libre.