De joven, abandonó el palacete familiar y se instaló en un cuarto del Barrio Latino.

En 1852 se retiró del hospital con la sensación de que en la batalla entre ciencia y enfermedad, prefería a estos últimos.

Fue en esta época cuando pensó en crear premios para alentar a aquellos que lograran evitar los estragos de la tuberculosis y la fiebre tifoidea entre las clases trabajadoras.

Al dejar la medicina en 1852, La Caze se va a dedicar casi exclusivamente a su segunda vocación, el arte, intentando hallar el acierto que no había obtenido en su lucha contra las enfermedades.

Pintor aficionado él mismo, se interesó primeramente por los maestros que devolvían a la naturaleza verosimilitud.

Hizo su testamento en 1865 por el que legó toda su colección de cuadros al museo del Louvre.

[4]​ La calidad de su colección ha permitido enriquecer el museo del Louvre con maestros que tenían escasa representación.