La banda se formó en 1956 en Benton Harbor, Míchigan, inicialmente como the Four Sounds.

La formación original estuvo compuesta por Gene Harris al piano, Andy Simpkins como contrabjista y Bill Dowdy en la batería,[1]​ además del saxofonista Lonnie 'The Sound' Walker, que abandonó la banda al año siguiente.

El grupo se trasladó primero a Washington y después a Nueva York, donde, ya como Three Sounds, realizaron una primera grabación para Riverside Records, antes de firmar un exclusivo contrato con la discográfica Blue Note.

[2]​ Entre 1958 y 1962, el grupo publicó nueve álbumes con Blue Note.

El trío tocó y grabó con músicos como los saxofonistas Lester Young, Lou Donaldson, Stanley Turrentine y Sonny Stitt, el cornetista Nat Adderley, la cantante Anita O'Day y el guitarrista Bucky Pizzarelli, entre otros.