En el año 1939, su hermano mayor, David Díaz, primer violín de la orquesta típica de Aníbal Troilo (1914-1975), le propone a Troilo que adopte a su hermano ya sea para bandoneón o contrabajo.
Cuando José Libertella tenía 15 años conoció a Luis Stazo que en ese momento tocaba con Argentino Galván en el Tango Bar.
[3] y al año siguiente, 1950, ingresó a la orquesta de Osmar Maderna, donde también tocaba Stazo.
Cuando en 1992 empezaron con el espectáculo Tango Pasión mantuvieron la misma estructura del sexteto pero agregaron como artistas invitados dos bandoneones, dos violines, guitarra, dos pianos, además de cantantes y bailarines.
En 1981 se produjo otro gran cambio, cuando Tomás Barna llevó al conjunto para inaugurar la tanguería parisina Trottoirs de Buenos Aires, ocasión en que estuvieron, entre otras figuras, Julio Cortázar, Yves Montand y Paloma Picasso.
En ese lugar los vio Claudio Segovia, y los convocó para el espectáculo Tango argentino que estaba creando junto con Héctor Orezzoli.
Fueron a París en 1983 por una semana pero fue tal el éxito que siguieron presentándolo durante nueve años.
Otro de los aspectos particulares del Sexteto Mayor es que está en forma permanente en giras por el mundo, retornando para estar en Buenos Aires uno o dos meses por año, lo que lo ha llevado a ser considerado el conjunto de tango argentino más famoso del mundo.