Después de 97 apariciones con Go Ahead Eagles van der Gouw se trasladó a Vitesse Arnhem.
En las siguientes temporadas Vitesse terminó consistentemente entre los seis primeros de la liga, con resultados menos positivos en Europa.
Hizo su debut en Manchester en septiembre de 1996 contra el Aston Villa, manteniendo la red intacta.
En 1997 fue decisivo en la semifinal de la Champions League contra el Borussia Dortmund cuando Peter Schmeichel se lesionó en el pre-partido y van der Gouw contuvo el pasivo en un solo gol.
En 1999-2000 por primera vez desde que está en el United juega lo suficiente como para reclamar la medalla por la victoria de la Premier League.
Se le une Tim Carter, quien luego de su nombramiento regresa para entrenar a los jóvenes.