Se sabe,por una inscripción encontrada en los alrededores de la antigua fortaleza, que, en el año 691, el abad Locuber fundó en Bailén un monasterio que albergaba la Iglesia de San Andrés y Santa Gertrudis.
Ya en el siglo IX, en época musulmana, Abderramán I construye una fortaleza, de estructura primitiva, y la iglesia pasa a convertirse en mezquita.
Alrededor de este castillo comienza a fundarse una aldea, que se convertiría en el actual Bailén.
Tras esto, el castillo sufrió una serie de transformaciones hasta convertirse en casa-palacio.
Sus últimos propietarios fueron una rica familia minera, los Bonaplata, que en 1893 venderían el edificio al Ayuntamiento.