Como sede se eligió el Palacio de Buenavista, pero como no estaba acondicionado se creó un depósito en el convento del Rosario, en la calle de San Bernardo, que no estaba en mejores condiciones.
Se contaba, además, con la colección confiscada a Manuel Godoy, y su palacio sirvió también como depósito.
Según el informe del arquitecto Silvestre Pérez, el edificio requería por otra parte obras urgentes, especialmente en las cubiertas, con todas las bóvedas de la planta superior amenazando ruina y poniendo en peligro las obras allí depositadas.
La selección que hicieron, al parecer de forma voluntaria negligentemente, desde luego no satisfizo a José I cuando vio los cuadros reunidos en San Francisco el Grande, y el envío a Francia quedó paralizado.
La opinión de Napoli sobre el conjunto allí reunido era, sin embargo, negativa, pues su procedencia se reducía a unos pocos conventos, en tanto auténticas joyas conservadas en otros se habían dejado a merced de la rapiña.
Se proponía ponerlos en venta para costear con el producto los gastos de funcionamiento.
En ellos, según Napoli, «está lo más precioso de la Escuela Italiana y lo que hará el principal ornato del museo».