Su primera aparición en disco fue junto a Eric Dolphy, en su álbum Last Date (1964).
En dicho disco estaba también el baterista Han Bennink, y ambos, junto con Piet Noordijk, y diversos bajistas, formaron un cuarteto que tocó en el Newport Jazz Festival de 1966.
Mengelberg tocó con un gran número de músicos; hizo dúo de forma frecuente junto con su colega Bennink, así como con otros músicos como Derek Bailey, Peter Brötzmann, Evan Parker o Anthony Braxton.
En 2006 publicó un DVD, Afijn (ICP/Data), con 80 minutos de material sonoro y biográfico.
Sus influencias estilísticas incluyen a Thelonious Monk, Duke Ellington y John Cage.