Este Huerto (en Elche se denomina huerto a una parcela de tierra con palmeras) debe su nombre al capellán José Castaño Sánchez, que fue su propietario hasta el año 1918.[2][3] El Huerto del Cura, de tan solo 13 361 m², nació con su extensión actual cuando en 1876, el labrador Andrés Castaño Peral compró una parcela del huerto en que vivía como arrendado a Juan Espuche.La emperatriz quedó profundamente impresionada cuando contempló la palmera, comentándole a su propietario (el capellán Castaño), que esa palmera tenía un poder y una fuerza digna de un imperio, aconsejándole que le pusiese un nombre.Luego de esta visita el capellán pensó en lo que había pasado, y empezó a llamarla, en su honor, Palmera Imperial.Son nombres de personalidades con vinculaciones con Elche y el jardín, que a lo largo de la historia se les ha dedicado en homenaje una de las palmeras del jardín como Unamuno, Oscar Esplá, Severo Ochoa y varios presidentes y reyes (como Alfonso XIII) del siglo XX.[2] Es una colección de cactus y plantas crasas, que se encuentran en una zona del jardín a pleno sol, dispuestas entre rocas.