Tras la separación de la banda, Lou Reed le propuso fundar un grupo que finalmente nunca llegó a existir.

Sus padres se divorciaron cuando aún era niño, y su madre volvió a casarse tomando el apellido Hardern.

[2]​ Buen estudiante, cursó enseñanza secundaria en los centros de Wisdom Lane —por donde pasaría también su futura compañera en The Velvet Underground, Maureen «Moe» Tucker— y Division Avenue, ambos en Levittown, graduándose en 1960.

Allí coincidió con Lou Reed, con el que compartía aficiones musicales, interpretando versiones de rhythm and blues.

Desde sus primeros años se vio influido por los discos de los guitarristas Chuck Berry y, sobre todo, Bo Diddley.