Nació en la ciudad de Nueva York, sus padres fueron Muriel (Kornfeld) y Franklin Hollander,[3]​ unos inmigrantes judíos.

Hollander asistió a Columbia College de la Universidad de Columbia, donde estudió con Mark Van Doren y Lionel Trilling, y se superpuso con Allen Ginsberg.

[4]​ Hollander residía en Woodbridge, Connecticut, donde se desempeñó como juez de varios concursos de recitación de la escuela secundaria, y dijo que le gustaba trabajar con los estudiantes en la poesía y la enseñanza.

Hizo hincapié en la importancia de escuchar poemas en voz alta: "Un buen poema satisface el oído.

Crea una historia o una imagen que te atrapa, que te informa y entretiene".