[1]​ Smith aprendió piano a tierna edad y tocó el melófono en la banda del instituto.

[2]​ Cuando tenía 16, conoció a Duke Ellington, que comentaba sus composiciones.

[2]​[3]​ Su composición Four Songs ganó el primer premio estudiantil por el BMI.

[2]​[4]​ Con Chico Hamilton escribió la banda sonora para la película Mr.

[6]​ Sus composiciones incluyen The Valley Wind (1952), In Memoriam, Beryl Rubinstein (1953), Sonata for Cello and Piano (1955), Contours for Orchestra (1961), Faces of Jazz (1965), Evocation (1966), Ritual and Incantation (1974), Innerflexions (1977), Toussaint L'Ouverture (1979), Solemn Music (1979), Three Patterson Lyrics (1985) y Dialogues and Commentaries (1991)[2]​[3]​ Escribió música para bandas, coros, orquestas, grupos de jazz, dúos y solos.