Su madre falleció apenas seis meses después del parto a causa de una miocarditis crónica, quedando Mingus a cargo de una madrastra mitad amerindia y que en el hogar permitía únicamente música relacionada con la iglesia, por lo que Charles tuvo sus primeros contactos con la música en la Iglesia Holiness Church de Watts.

Algunas fueron grabadas en 1960 con el director Gunther Schuller y distribuidas como «pre-Bird» ―en referencia al saxofonista de jazz Charlie Bird Parker―.

En 1952 Mingus fue cofundador de Debut Records con Max Roach para poder llevar a cabo su carrera discográfica como quisiera.

Mingus abrió nuevos caminos, exigiendo constantemente que sus músicos pudieran explorar y desarrollar sus percepciones sobre el terreno.

Aquellos que se unieron al Taller fueron Pepper Adams, Jaki Byard, Booker Ervin, John Handy, Jimmy Knepper, Charles McPherson y Horace Parlan.

Mingus dio forma a estos músicos en una máquina cohesiva de la improvisación que en muchas maneras anticipó el free jazz.

Entre finales de los 1950 y principios de los 1960, grabó el cuerpo de su obra discográfica más importante, nuevas composiciones y álbumes aparecieron a un ritmo asombroso: unos treinta discos en diez años, para diferentes sellos discográficos (Atlantic, Candid, Columbia, Impulse y otros), un ritmo quizás incomparable por cualquier otro músico.

Entre esos discos, pequeñas composiciones que se han convertido con el transcurrir del tiempo en grandes estándares del jazz como «Goodbye Pork Pie Hat», un homenaje a Lester Young, o «Better Get Hit In Yo' Soul».

Otro álbum de este período, The Clown (1957 también en Atlantic Records), cuyo tema principal es una narración del humorista Jean Shepherd, fue el primero en presentar al baterista Dannie Richmond, que permaneció como su baterista preferido hasta la muerte de Mingus en 1979.

También durante 1959, Mingus grabó el álbum Blues and Roots, que fue lanzado al año siguiente.

La mayoría de las veces usan sus dedos en el saxofón y ni siquiera saben lo que va a salir, están experimentando".

Ese mismo año, sin embargo, Mingus formó un cuarteto con Richmond, trompetista Ted Curson y multi-instrumentista Eric Dolphy.

Este conjunto ofreció los mismos instrumentos que el cuarteto de Coleman, y se considera a menudo como que Mingus se unía al nuevo estándar desafiador establecido por Coleman.

Sólo un paso en falso ocurrió en esta época: el álbum Town Hall Concert de 1962.

1964 fue también el año en que Mingus conoció a su futura esposa, Sue Graham Ungaro.

También en los setenta graba en trío con Duke Ellington, en cuya orquesta había tocado durante un breve periodo a comienzos de los cincuenta.

En 1972, siete años antes de morir, escribió su autobiografía, Beneath The Underdog (en castellano, Menos que un perro), obra que ayuda a comprender al músico y describe y critica el ambiente racista en el cual vivió.

Un par de años después ya no pudo seguir tocando el contrabajo.

Este ataque terminó temporalmente su relación de trabajo y Knepper no pudo actuar en el concierto.