El encargo lo recibió el arquitecto palatino José Segundo de Lema, que diseñó un proyecto de pintoresco estilo que podría encuadrarse dentro del llamado “racionalismo neogótico” propiciado por el arquitecto francés Viollet-le-Duc, caracterizado por mostrar los materiales en su aspecto natural para expresar con sinceridad su finalidad constructiva.
Al ser destronada Isabel II en 1868 y exiliada la Familia Real, nunca pudo servir de residencia al príncipe de Baviera.
Terminada la guerra, se convierte en la residencia del general que manda los Regimientos de Almansa y Pavía, permaneciendo así hasta el año 1962, en que el palacio está prácticamente en ruinas.
En 1966 sufre un incendio, quemándose sus artísticos artesonados, y queda totalmente en ruinas.
Se restaura a semejanza del antiguo palacio antes de su incendio.