Con solo 14 años, fue guitarrista del grupo "The Royal Teens", y en 1960 escribió su primer hit, "This diamond ring", para el grupo "Gary Lewis & The Playboys".
En 1965, se instaló en Greenwich Village y conoció a Bob Dylan, con quien actuó y realizó diversas grabaciones, entre ellas "Like a Rolling Stone" y el álbum Highway 61 Revisited,[1] en el que también colaboró Mike Bloomfield, que sería en adelante compañero de Kooper en varios proyectos.
Ese mismo año, 1965, forma el grupo The Blues Project, del que se separa tras su actuación en el Festival de Monterey de 1967, impulsando una nueva formación, a la que denomina Blood, Sweat & Tears, con la que grabará un disco, "Child is father to the man" (1968).
Tampoco se consolida con esta banda, que seguirá su propia carrera sin Kooper.
Reputado músico de sesión, grabará con Rolling Stones, B. B. King, Jimi Hendrix, Alice Cooper, The Who o Cream, además de sus propios discos.