A partir de 1959, Barry formó pareja, tanto sentimental como profesionalmente, con Ellie Greenwich.

Ambos comenzaron a trabajar como compositores para Trio Music, una compañía dirigida por Jerry Leiber y Mike Stoller situada en el edificio Brill de Manhattan.

A principios de 1963, la pareja logró alcanzar el éxito como intérpretes con los sencillos "What A Guy" y "The Kind of Boy You Can't Forget", grabados bajo el nombre de "The Raindrops" para Jubilee Records.

En 1966 Barry y Greenwich descubrieron el talento de un joven Neil Diamond, a quien produjeron sus primeros éxitos, "Solitary Man", "Cherry, Cherry", "Kentucky Woman" y "Girl You'll Be A Woman Soon" para el sello de Bert Berns, Bang Records.

Barry, por su parte, colaboró con Marty Sanders, miembro del grupo Jay and the Americans, y Bert Berns, con quienes escribió "Am I Groovin' You?