[3]​ Después del séptimo grado, Freer dejó la escuela y empezó a trabajar en una fábrica de cemento.

En 1879, utilizando conexiones hechas en el negocio ferroviario y con el respaldo financiero del grupo formado por Christian H. Buhl, James Joy, Russell Alger, James McMillan y Allan Shelden, Freer y Hecker se mudaron a Detroit, donde crearon la Peninsular Car Company en 1885, dedicada a la fabricación de vagones.

En 1892, la compañía se fusionó con la Michigan Car Company, asumiendo la mayor parte del mercado de vagones en Detroit.

[5]​ Siete años después, en 1899, Freer organizó una fusión de 13 empresas, creando la American Car and Foundry en 1899.

[6]​ A finales del siglo XIX, la salud de Freer se deterioró notablemente.

[7]​ A Freer le diagnosticaron neurastenia, una afección nerviosa muy extendida entre la clase alta de Estados Unidos.

[11]​ Sus intereses continuaron creciendo en los años siguientes a través de conexiones personales y profesionales.

Según Mansfield, cuando Freer vio los grabados de Whistler, se sintió instantáneamente atraído por las piezas que el artista producía.

Aunque los estudiosos debaten por qué Freer comenzó a concentrarse en coleccionar arte asiático, la documentación disponible indica que su primera compra, una pintura japonesa de abanicos de Rimpa, se produjo en 1887.

[13]​ Tyron, Thayer, Dewing y Whistler contribuyeron a la mansión de Freer en Detroit, diseñada por el arquitecto del movimiento esteticista Wilson Eyre en 1890.

[9]​: 17  Su asociación fue lucrativa, ya que los consejos de Fenollosa le permitieron adquirir ventaja en un mercado del arte cada vez más competitivo.

[13]​: 68  A cambio, Freer organizó charlas para Fenollosa y adquirió objetos del académico.

En su libro Freer: A Legacy of Art, Thomas Lawton y Linda Merrill describen los principios de Freer como un sistema en el que "una obra maestra no requiere explicación ni contexto cultural para comunicar su mensaje: su importancia radica en su integridad estética, no en la evidencia que se podría proporcionar incidentalmente sobre cuestiones religiosas, sociales, políticas o económicas".

En el verano de 1900, viajó por Venecia, Múnich, Núremberg, Dresde, Berlín, Hamburgo y Colonia.

Mientras estuvo en estas ciudades, visitó los principales museos etnológicos, donde dibujó planos y escribió una serie de notas en un diario.

[9]​: 16 Además del conjunto de 2250 objetos prometidos en el regalo original al Smithsonian, Freer coleccionó con avidez durante toda su vida.

El museo continuó adquiriendo nuevas obras, agregando casi 2000 objetos adicionales en sus primeros cincuenta años.

Las negociaciones continuaron durante los siguientes cinco meses, detenidas brevemente por Samuel P. Langley, director de la Institución Smithsoniana.

También compartió comunicaciones durante décadas con otros importantes coleccionistas y patrocinadores de arte estadounidenses.