Se construyó sobre el solar del antiguo palacio paterno que él quería venerar, en el barrio de Santo Tomás, por tanto las obras se vieron condicionadas por el pie forzado de unas construcciones antiguas -lo cual repercutía tanto en su arquitectura como en su integración urbanística-, pero formaron parte de un conjunto monumental magnífico, como evidencia la cercanía de la Capilla del Salvador.El patio y la huerta se situaron sobre un antiguo cementerio judío.No sabemos, en cambio, si don Francisco llegaría a estar en posesión de una pequeña "cámara de maravillas", una "wunderkammern" manierista, siguiendo la creciente moda coleccionista europea y el propio ejemplo del Emperador.Hoy, se está reconstruyendo para usarse como sede de la UNED (Universidad a Distancia).Su propiedad ha estado en litigio entre el ayuntamiento y la Casa Ducal de Medinaceli, a quien finalmente se ha concedido.
