[2]​ Fue el primer jugador de color que jugó en la Premier League inglesa y hermano del también futbolista Adam Ndlovu.

Ndlovu comenzó su carrera en 1988 en un club de su ciudad natal, Zimbabue en los Highlanders donde permaneció hasta 1990.

Fue llevado a la Premier League inglesa por Terry Butcher para jugar en Coventry City.

Pasó un tiempo en préstamo en Huddersfield Town en diciembre de 2000, donde anotó dos veces en su debut ante Wolverhampton Wanderers .

Ndlovu también disfrutó del éxito en Sheffield United y sus fanáticos lo conocían como "Nuddy".