El joven Baker fue primer trompeta en la orquesta de Ted Heath, grabando para el sello Decca Records en 1946 temas como Bakerloo Non-Stop, una pieza con una gran interpretación suya y del batería Jack Parnell.

En la década de 1950 Baker lideró su propio grupo, Baker's Dozen, con el cual tocó en el primer show radiofónico británico dedicado al jazz y con emisiones regulares, la serie de BBC Light Programme Let's Settle For Music.

En las décadas de 1960 y 1970 todavía estaba disponible para trabajo en el cine o en estudio.

Baker también formó parte del grupo musical Best of British Jazz, en el cual actuaban Don Lusher y Betty Smith.

Más adelante, en los años ochenta, trabajó en la banda sonora del serial televisivo The Beiderbecke Trilogy, protagonizado por James Bolam.