En el año 1172, la derrota almohade en la batalla de Huete (Cuenca), y el peligro del avance cristiano, llevaron al reino taifa de Murcia a favorecer la llegada de población y a fortificar enclaves estratégicos en el valle del Vinalopó, entre ellos la primitiva fortaleza de Elda, un alcázar emplazado en un pequeño cerro junto al río, construido y mantenido por los almohades entre los años 1172 y 1243, y que protegía la comunidad que iría conformando la Elda islámica, como demuestran los restos arqueológicos hallados en el núcleo histórico de la ciudad.
Las reformas y cambios fueron, asimismo, de carácter residencial, acondicionando la fortaleza como lugar adecuado para sus sucesivos señores.
La residencia de la familia Coloma en estas tierras durante todo el siglo XVI y parte del XVII, dio lugar a la transformación definitiva de la fortaleza militar medieval en Palacio Condal.
Debido a los cambios políticos que se sucedían en España, fue adquirido por el Estado español en 1841, y luego subastado por 121 000 reales en 1848.
Su nuevo dueño, Pedro León Navarro y Vidal (1866-1886), maestro de obras, lo derribó, siendo entonces cuando se expoliaron sus mármoles, sillería, maderas, artesonados, muebles, metales etc. Finalmente, en 1879 fue construido el puente sobre el Vinalopó, cuyas columnas y arcadas fueron levantadas con la sillería de las torres circulares.