[11] Durante su estancia en la universidad, también fue miembro de la Alpha Epsilon Pi,[12] la única fraternidad judía en Estados Unidos y Canadá.
En octubre de 1964 publican Wednesday Morning, 3 AM,[15] su primer álbum gracias a Columbia Records.
Al año siguiente el productor Tom Wilson añadió sonidos eléctricos a la canción The Sound of Silence (ya que la original solo contaba con la guitarra y las voces del dúo),[16] llevándola al n.º 1 de las listas norteamericanas.
El dúo publicó en 1970 el álbum más elogiado de su carrera, Bridge Over Troubled Waters; sin embargo, se volvió a separar debido a los diferentes intereses entre ambos y las ganas de emprender cada uno carrera en solitario.
En los años setenta, Garfunkel publicó algunos álbumes como solista, y, aunque no cosechó el mismo éxito que había alcanzado con el dúo, todavía generó algunos éxitos como I Only Have Eyes For You y Bright Eyes (ambos n.º 1 en las listas británicas) o All I Know, que alcanzó el noveno puesto en Estados Unidos.
También hizo el papel protagonista de la película Contratiempo (1979), un thriller policial donde encarma a un psicoanalista y profesor universitario estadounidense en Viena, con el acompañamiento de Theresa Russell, Harvey Keitel y Denholm Elliott.
En esos tiempos retornó a la docencia, dando clases de matemáticas en diferentes universidades del área neoyorquina (Pace University) y en Nueva Jersey (NJCU), trabajo que le permitió sustentarse mientras proyectaba sus nuevos trabajos con Paul Simon.
Este al final lo editó sin su voz con el título "Hearts and Bones" en 1984.
Garfunkel dejó la música durante varios años, pero en 1988 volvió a grabar un nuevo álbum, Lefty.
Es posible que su mayor éxito fuera Across America, una grabación en directo de 1996 en Ellis Island.
En el disco, Garfunkel trabaja junto con los compositores Maia Sharp, y Buddy Mondlock.
[26] En mayo de 1998, Garfunkel comenzó una caminata incrementada por Europa,[27] cuya última parada fue Estambul, en 2015.