Y logró una mayor visibilidad con su participación en el revolucionario cuarteto sin piano de Gerry Mulligan.

En su adolescencia, su padre le compró un trombón, que luego reemplazaría por una trompeta al ser este primero demasiado grande para él.

Tras su regreso, en 1948, se apuntó a El Camino College (en Los Ángeles), donde estudió teoría y armonía mientras tocaba en clubes de jazz prácticamente todos los días.

Abandonó los estudios al segundo año ya que su profesor le dijo que nunca podría ganarse la vida como músico y porque además El Camino College era una universidad donde la materia principal era la música, pero la segunda era la literatura inglesa y, como cuenta Chet en sus memorias "Como si tuviera alas", nunca había tenido ganas de ser profesor de literatura inglesa.

El Gerry Mulligan Quartet duró apenas un año: en junio de 1953 su líder ingresó en la cárcel por drogas.

Salí a la mañana siguiente bajo fianza, pero se quedaron con mi coche" cuenta en las memorias "Como si tuviera alas".

Su éxito además le hizo trabajar en una película de 1955 Hell's Horizon (El horizonte del infierno), que se rodó en diez días.

Mientras tanto, en 1960 se realizó una biografía ficcionalizada de Baker, All the fine young cannibals.

Tocó en Nueva York y en Los Ángeles a mediados de los sesenta, cambiando temporalmente la trompeta por el fliscorno.

Retomando cierto control sobre su vida, gracias a tomar metadona para controlar su adicción a la heroína, y con ayuda de su colega Dizzy Gillespie, Baker regresó fundamentalmente con dos actuaciones: una en un importante club neoyorquino en 1973 y otra en un concierto con Gerry Mulligan en el Carnegie Hall en 1974.

[11]​ Sus restos se encuentran en el Cementerio Inglewood Park de Los Ángeles (California), donde fue enterrado junto a su padre.

Baker se casó tres veces, con Charlaine Souder, Halima Alli y Carol Jackson.

La relación con Lili terminó cuando Baker le anunció que había contraído matrimonio con Halema Alli.

Tuvieron un hijo, Chesney III, a quien le dedicó su composición Chet's Lullaby, aunque Baker era un padre irresponsable y distante.

Para mayor humillación, cuando comenzó el juicio, Baker ya había empezado a salir públicamente con Carol Jakson, una corista de Surrey.

Después de permanecer detenida seis meses, Halema regresó a Inglewood y su matrimonio virtualmente terminó, aunque continuaron legalmente casados varios años más porque rastrear a Baker para los procedimientos de divorcio era demasiado difícil.

Dos años después, en 1964, Baker regresó a Estados Unidos y Halima pudo entregarle los papeles de divorcio.

Durante un tiempo, Vavra se refugió en una casa para mujeres maltratadas debido al comportamiento abusivo de Baker adicto.

[21]​ En 2015 se filmó "Born to Be Blue", un biopic ambientado en los años 60, protagonizado por Ethan Hawke haciendo el papel de Baker.

En 1997, fue publicada su autobiografía inacabada con el título de As though I had wings: the lost memoir.

[24]​ El músico australiano Nick Murphy eligió "Chet Faker" como su nombre artístico como tributo a Baker.