La enorme ciudadela, situada en la ruta de la seda, fue construida con anterioridad al año 500 a. C. y continuó siendo habitada hasta 1850.
La ciudad progresó lentamente como centro agrícola y luego industrial, hasta el catastrófico terremoto de 2003.
Pocos días después del terremoto, el presidente iraní Mohammad Khatami declaró que la ciudadela sería reconstruida.
Bajo el imperio sasánida, el castillo fue tomado por Aga Muhammad Khan,el fundador de la dinastía Kayar.
En el año 645, la región de Kerman fue conquistada por los árabes y Arg-e-Bam probablemente sufrió daños durante la guerra.
En el año 656 d. C., los Jariyistas, un grupo de musulmanes derrotados por Alí, escaparon a Kerman y Bam, donde se establecieron en Arg-e-Bam.
En el año 869 d. C., Ya'qub-i Laith Saffari, que luchaba contra los abbasíes, derrotó a los Jariyistas y se apoderó de Arg-e-Bam.
Según estos autores, Bam era entonces un mercado bien establecido y rodeado de una amplia zona agrícola.
Hacia el final del dominio safávida, Arg-e-Bam fue conquistada por el fundador de la Dinastía Qajar, Agha Mohammad Khan, que utilizó la ciudadela como punto estratégico para rechazar las incursiones de los afganos y los baluchis y la convirtió así en un complejo militar.
En 1839, Aga Khan I, Imán de la secta Nizari Ismaili, se sublevó contra Muhammad Sah Kayar y se refugió en Arg-e-Bam, hasta que Príncipe Firooz Mirza,[nota 1] que más tarde sería conocido como Farman Farma (el Gobernante de los Gobernantes), lo arrestó.
Cuando se cerraba la única puerta de acceso a la ciudadela, la misma quedaba aislada.
La ciudadela tenía los medios para permitir que los habitantes pudieran vivir aislados del mundo exterior durante largos períodos de tiempo, ya que contaban con acceso a un pozo de agua, jardines, y animales domésticos.
Las mismas son estructuras que sobresalen de los edificios para atrapar el viento y dirigirlo hacia su interior.
Algunas veces el aire pasaba por un estanque de agua en el edificio para enfriarlo y sacarle el polvo.
La ciudad al pie del castillo quedó casi arrasada, especialmente las partes que anteriormente habían sido restauradas.
[1] Antes del terremoto no se había llevado a cabo ninguna restauración en el barrio de Konariha.
La ciudadela de Khale Dokhtar no tenía muchos techos abovedados antes del terremoto.