Holden recibió un título de Bachelor of Arts en la Universidad Yale en 1963.

[2]​ Trabajó como editor fotográfico, escritor y finalmente se convirtió en A&R de la compañía discográfica RCA Records, antes de pasar a escribir reseñas de música pop y artículos similares para Rolling Stone, Blender, The Village Voice, The Atlantic y Vanity Fair, entre otras.

Gracias a su experiencia como periodista y directivo de RCA escribió la novela satírica Triple Platinum, publicada por Dell Books en 1980.

En 1986 recibió un premio Grammy a las mejores notas de álbum en el disco recopilatorio de Frank Sinatra The Voice: The Columbia Years.

Algunos de sus poemas han sido publicados en The New Yorker y en el recopilatorio The New Yorker Book of Poems.