En la China medieval Yan'an se llamaba Yanzhou, y constituía un lugar de gran importancia estratégica para el imperio chino y los tangutos de la dinastía Xia Occidental.

La ciudad pasó posteriormente a manos de las dinastías Manchú y Qing.

Tras la Larga Marcha Yan'an se convirtió en zona de entrenamiento intensivo para los soldados y miembros del partido comunista.

Durante la Segunda Guerra Mundial casi todos los edificios -con excepción de una pagoda- fueron destruidos por los bombardeos japoneses y la mayor parte de los habitantes optaron por vivir en yaodongs, cuevas artificiales o refugios cavados en las colinas, que eran viviendas tradicionales en Shaanxi.

Mientras Yan'an fue el centro de la vida comunista en China muchos periodistas occidentales importantes -Edgar Snow y Anna Louise Strong entre ellos- se reunieron con Mao y otros importantes líderes para entrevistarlos.