Se conformó como uno de los mejores grupos soul haciendo coros a estrellas como Aretha Franklin, The Drifters, Van Morrison, Wilson Pickett, Solomon Burke, Garnett Mimms, Elvis Presley, Bee Gees, entre otros.

Se le sumaron en 1963 las cantantes Soul Doris Troy, Judy Clay, y las hermanas Dionne Warwick y Dee Dee Warwick, a su vez sobrinas de la vocalista principal del grupo Cissy Houston (madre de la cantante Whitney Houston).

Firmaron por Atlantic y empezaron a hacer un sonido que mezclaba el soul con la armonía góspel.

Cissy Houston dejó el grupo para iniciar su carrera en solitario en 1969, y a principios de los 70s The Sweet Inspirations abandonaron Atlantic.

Después de esto trabajaron con Elvis Presley desde 1969 hasta la muerte del cantante en 1977 y grabaron un álbum para Stax en 1973, cuando el grupo ya se había reducido a un trío; Sylvia Shemwell, Myrna Smith y Estelle Brown.