Tate nació en Sherman, Texas y empezó a actuar tocando el saxo alto.

Como adolescente, en 1925, toca con su hermano y su banda se llamaba McCloud Night Owls.

[1]​ Tate cambia en seguida al saxo tenor con el que se hace un nombre en bandas como la dirigida por Andy Kirk.

También toca en este periodo con Scott Hamilton (Tour de Force, Tokyo, 1981) y Budd Johnson (Kool Festival 1984).

Vive en Nueva York hasta 2001 cuándo se traslada a Arizona para ser cuidado por su hija.