[1] Estudia piano clásico durante cinco años, antes de comenzar a oír jazz.
Durante su etapa con Parker, hacia 1946, Albany comenzó a crearse dependencia de las drogas, e ingresa en diversas ocasiones en prisión, además de tener etapas de oscuridad, regresando a Los Ángeles y quedando relegado a trabajar puntualmente, como free-lance, especialmente con Warne Marsh.
A comienzo de los años 1970, actuó con frecuencia en Europa, con músicos como Ben Webster, Dexter Gordon, Tony Scott o Niels-Henning Orsted Pedersen.
La directora de cine Carole Langer realizó en 1980 un documental sobre el pianista, titulado "Joe Albany: A Jazz Life".
En el año 2014 su vida fue llevada al cine en la película "Low Down" dirigida por Jeff Preiss.