La colaboración duró hasta enero de 2009, cuando anunció que dejaba The Bad Seeds.

En solitario ha grabado tres discos de versiones del cancionero de Serge Gainsbourg, Intoxicated Man (1995), Pink Elephants (1997) y Delirium Tremens (2016), así como varios discos con material propio y versiones: One Man's Treasure (2005), Two Of Diamonds (2007), Sketches from the Book of Dead (2011), Four (Acts of Love) (2013), The Fall and Rise of Edgar Bourchier and the Horrors of War (2018), Phantasmagoria in Blue (2023, junto a Amanda Acevedo) y Five Ways to Say Goodbye (2024).

Junto a Nick Cave y Blixa Bargeld firmó las bandas sonoras de los filmes Ghosts...

Al margen de Nick Cave ha colaborado con múltiples artistas como Peter Lillee, The Moodists, Cindytalk, Barry Adamson, Die Haut, Robert Forster, Hugo Race, Anita Lane o The Cruel Sea.

Destacables son sus aportaciones a los discos de PJ Harvey, To Bring You My Love (1995), Is This Desire?