[3]​ Era propiedad del comerciante José Ayora Olcina, quien encargó su edificación al arquitecto valenciano Peregrín Mustieles Cano.

A lo largo del tiempo el nombre ha sido valencianizado o castellanizado, pero no se refiere a la ciudad de Ayora, sino al apellido de la familia propietaria.

[6]​ El palacio está rodeado por una balaustrada, la fachada esta precedida por una escalinata, además el edificio se encuentra ligeramente elevado sobre el terreno, el edificio mezcla el estilo ecléctico con detalles modernistas, como se observa en su torre rematada por una cúpula.

En el exterior, la fachada cuenta en todos sus lados con tres vanos adintelados, salvo en la fachada principal y en la trasera que son vanos dobles formados por arcos de medio punto.

Cuatro puertas nos dan el paso a estos jardines con diversas especies botánicas como como araucarias, nandinas domésticas, feijoas sellowianas, pinos, laureles, palmeras de California, moreras de papel, casuarinas o pino australiano, jacarandas, naranjos, limoneros, pinos canarios, eucaliptus y una serie de ficus con grandes troncos, siendo estos árboles centenarios.

[8]​Durante la Guerra Civil su propietaria se exilió en París y el palacio fue ocupado por organizaciones republicanas.

Al fallecer Dolores Olcina, el palacio, junto con 33 hanegadas de jardín, pasa por herencia a ser propiedad del Cotolengo del Padre Alegre, institución benéfica para personas que necesitan de ayuda psíquica y física.