El nombre es turco y significa "opio del castillo negro", ya que se cultivaba opio en la zona y a que existe un castillo sobre una roca de color oscuro.La ciudad se llamó Afyon (opio) hasta que, en el año 2004, el Parlamento turco cambió el nombre por el de Afyonkarahisar.Los hititas la conocían como Hapanuwa; posteriormente, la ocuparon los frigios, los lidios y los persas, hasta que Alejandro Magno la conquistó.Durante las Cruzadas, el castillo fue objeto de numerosas batallas, hasta que finalmente lo conquistó el sultán otomano Beyazid I en 1392.Afyonkarahisar se convirtió en una ciudad rica, con la mezcla urbana típica del Imperio de judíos, armenios, griegos y turcos.La ciudad también cuenta también con una importante estación de ferrocarril entre Esmirna, Konya, Ankara y Estambul.
