En 1966, escuchó una canción sobre amor no correspondido escrita para The Spinners, pero Ruffin llegó a un acuerdo con los compositores para grabarla él mismo.
"What Becomes of the Brokenhearted" fue el principal sencillo de su álbum debut, Jimmy Ruffin Sings Top Ten, publicado por Soul Records en 1967.
[3] Formó dúo con su hermano David para grabar el álbum I Am My Brother's Keeper, que tuvo un modesto éxito e incluyó temas como "When The Love Hand Comes Down", "Your Love Was Worth Waiting For" o una versión del clásico de Ben E. King, "Stand by Me".
Tras dejar la Motown, trabajó con Polydor y Chess Records, donde grabó "Tell Me What You Want."
A comienzos de los años 80, Ruffin se mudó al Reino Unido donde continuó con éxito su carrera.
En 1986 he colaboró con el grupo Heaven 17, cantando los temas "A Foolish Thing To Do" y "My Sensitivity.
En 2012, lanzó un recopilatorio bajo el título de There Will Never Be Another You, incluyendo canciones como "What Becomes of the Brokenhearted" y "Hold On To My Love".