Con Fernando III pasa a manos cristianas y sirve como fortaleza fronteriza hasta la caída del Reino de Granada.Cuando este cayó la función militar del castillo desaparece y es entonces cuando los espereños comienzan a construir sus casas en los lugares más llanos, a lo largo de las laderas, existiendo dos villas: "La Villa Vieja" arriba, dentro de los muros del castillo y "La Nueva" en el actual emplazamiento del pueblo.En 1299 Fernando IV concede el castillo y la villa a Juan Arias de Quadro, en 1375 pasa a los Portocarrero y en 1394 se incorpora al Señorío de los Ribera cuando Per Afán de Ribera compra la villa y las tierras que la rodean en 24 000 maravedíes.El siglo XVIII es una centuria azotada por las calamidades; se registran tres terremotos en 1636, 1639 y 1679, así como una epidemia de peste en 1680.Espera entra en la Edad Contemporánea marcada por varios de los acontecimientos que protagonizan el siglo XIX; sufren los dramáticos efectos de la fiebre amarilla que sacude Andalucía; 1810 Espera es ocupada por los franceses, quienes acondicionan el castillo por su situación estratégica.Otros productos son los molletes,[6] el aceite, los pucheros con avíos y los picos.