Clarke nació en Filadelfia (Pensilvania) Tocó el acordeón, el chelo y el violín en su infancia.

Otros acompañantes fueron Gil Evans, Mel Lewis, Horace Silver, Stan Getz, Dexter Gordon y Art Blakey; todos quedaron impresionados por su talento.

Sin embargo, Clarke comenzó su carrera de éxito al unirse a Chick Corea en su grupo Return to Forever.

Cuando esta banda se definió como un cuarteto de fusión orientado hacia el Jazz Rock, Clarke trabajó sobre todo el bajo eléctrico y se convirtió en una fuerza influyente, precediendo a Jaco Pastorius en ese movimiento musical de los años 1970.

En 1999 junto a otro exintegrante de Return to Forever, el baterista Lenny White, formaron la banda Vertú, invitando a prestigiosos músicos de la talla del guitarrista Richie Kotzen, la tecladista Rachel Z y la multifacética violinista Karen Briggs.