Es el segundo álbum, después de Good as I Been to You, integrado exclusivamente por canciones folk tradicionales e interpretadas con guitarra acústica y armónica.
Posiblemente influido por la controversia suscitada con Good as I Been to You, Dylan escribió por primera vez en varios años unas notas incluidas en el libreto del álbum en las que citó las fuentes originales de las canciones.
Según el escritor Clinton Heylin: «Dylan invirtió en World Gone Wrong con esa clásica impersonalidad que busca el verdadero tradicionalista».
Cinco canciones grabadas durante las sesiones fueron descartadas: «Goodnight My Love», «Twenty-One Years», «32-20 Blues» y «Hello Stranger».
Al respecto, Robert Christgau lo calificó con un A- en su columna Consumer Guide publicada en The Village Voice y escribió: «El segundo intento de Dylan de revivir la música folk mientras establece un nuevo disco sin escribir ninguna canción nueva es misterioso y seductor.
Andy Gill escribió en el diario The Independent: «Son las notas explicativas que ofrece el aspecto más interesante del álbum.
Alcanzó el puesto veintitrés en la encuesta Pazz & Jop realizada por críticos musicales para la revista Village Voice.
Como promoción del álbum, preparó un concierto acústico para retransmitir por televisión y con la expectativa de publicarlo en disco.