Se convirtió en experto en el instrumento cuando ingresó en la Universidad Estatal del Norte de Texas.
John Frigo, que ya había dejado la banda conocía al dueño del Hotel Peter Stuyvesant en Buffalo.
Junto con Frigo y Lou Carter, Ellis escribió el estándar clásico de jazz "Detour Ahead".
El grupo Soft Winds fue creado a imagen del Nat King Cole Trio.
Ellis luego se unió al Oscar Peterson Trio (reemplazando a Barney Kessel) en 1953, formando a lo que Scott Yanow más tarde se referiría como "uno de los tríos de piano, guitarra y bajo más memorables en la historia del jazz".
Ellis dejó el Peterson Trio en noviembre de 1958, para ser reemplazado no por un guitarrista, sino por el baterista Ed Thigpen.
Con Mel Brown Con Benny Carter Con Roy Eldridge Con Victor Feldman Con Johnny Frigo Con Stan Getz Con Dizzy Gillespie Con Lou Rawls Con Illinois Jacquet Con Bud Shank Con Gábor Szabó Con Oscar Peterson Con Sonny Stitt Con Ben Webster Con Lester Young