Las obras se ejecutaron a un ritmo muy rápido, quedando el edificio prácticamente concluido en 1765, como así figura en una lápida conmemorativa del fin de la construcción, colocada en la fachada principal.

Entre sus moradores figuró el músico Luigi Boccherini, que estuvo bajo la protección del infante durante su estancia en España.

El nuevo conjunto se integraría en la red de centros ARTEria que la SGAE abrirá en diversos países.

Los planos arquitectónicos que se han difundido muestran en los jardines un edificio soterrado, con un auditorio y otros locales.

[4]​ Aunque la SGAE anunció que presentaría un recurso contra la retirada, perdió definitivamente el palacio tras anular los tribunales la cesión en respuesta a la denuncia de un concejal del partido Alternativa por Boadilla.

Ya en 2003 el TSJM anuló un proyecto ambicioso del entonces ministro de Defensa, Federico Trillo, que planeaba instalar allí la Escuela Militar Ecuestre y que incluía realizar obras nuevas (viviendas, ascensores y una piscina) en un edificio donde sólo se permiten obras de rehabilitación.

La productora encargada del rodaje costeó trabajos de remozamiento en el edificio por un importe cercano a 300.000 euros.

Los materiales empleados en la construcción son, en su mayoría, el ladrillo rojo y, en un segundo plano, la piedra, reservada a las portadas, a los frontones y al zócalo, este último de sillares de granito.

Sobre ella se elevan un balcón con columnas jónicas, un frontón semicircular y, por encima de este, una lápida conmemorativa, con la inscripción «A.D.

Presidía un recinto ajardinado, que desapareció con la expansión urbana de Boadilla del Monte, extendiéndose sobre su solar actualmente una calle y una plaza.