El nombre del álbum viene de su primer éxito "The Sound of Silence", anteriormente publicado en el álbum Wednesday Morning, 3 A.M.

El tema The Sounds of Silence se publicó en Wednesday Morning, 3 A.M., pero el álbum no tuvo éxito y la canción pasó desapercibida, hasta que se empezó a escuchar en varias radios y fue tomando popularidad.

Tom Wilson, quien había producido el primer álbum del dúo, produjo una nueva versión de la canción, a la que agregó guitarras eléctricas, bajo y batería, y la publicó como sencillo.

No tardó mucho tiempo en ser número uno en Billboard y Cash Box.

Tras este imprevisto, Simon y Garfunkel se pusieron a trabajar en un nuevo álbum, que llevaría el nombre de aquella canción que les salvó del anonimato, y así fue como se creó Sounds of Silence, que obtuvo un éxito rotundo.