En su localidad natal jugó al fútbol en los equipos Montagu y North Fenham Boys Club[1] En 1978 con 15 años de edad fue captado por el Everton para sus categorías inferiores y marchó a vivir a Liverpool.
Tan solo dos años después, en 1980, Richardson pasaba a ser jugador profesional de la plantilla del Everton.
La temporada 1986-1987 jugó en el Watford, siendo traspasado al Arsenal para la siguiente campaña a cambio de £200,000.
[3] En Londres Richardson sustituyó a Graham Rix como extremo izquierdo en los gunners y logró hacerse con un puesto como titular.
En la Real formó la tripleta de jugadores extranjeros junto con sus compatriotas John Aldridge y Dalian Atkinson.
Fue titular indiscutible durante toda la temporada en la que jugó 42 partidos oficiales, de los cuales 37 fueron en la Liga; pero su rendimiento fue menor de lo esperado sin llegar a demostrar el nivel que se le esperaba.
[6] En septiembre de 1997 deja el Coventry y ficha por el Southampton donde juega su última temporada en la Premier League.
[7] Finalmente acabaría su carrera en el Blackpool donde se retiraría en 2000 tras descender este último equipo a la Tercera División Inglesa.
[8] En 2006 se hizo cargo interinamente del primer equipo después de que el club fuera adquirido por un consorcio liderado por Niall Quinn[9] El nuevo mánager, Roy Keane inicialmente retuvo a Richardson en su personal, pero luego lo sustituyó por el antiguo entrenador del Manchester United Neil Bailey.