Walker terminó la gira de Mellon Collie and the Infinite Sadness con la banda (1996 - 1997).
También apareció en el video musical de esa canción, dirigido por Joel Schumacher.
En 1998, también colaboró en el disco Let it Come Down, de James Iha.
Cuando se le ofreció continuar con la gira de Adore, declinó, y fue reemplazado por Kenny Aronoff.
Más tarde, tocó con Garbage, luego durante la época solista de Billy Corgan y, por último, con Morrissey.