Andrew se unió al grupo bancario de su padre en 1874 y durante las siguientes tres décadas, desarrolló un imperio financiero abasteciendo de capital a corporaciones en industrias como las del aluminio, el acero y el petróleo.

Ayudó a fundar la Aluminum Company of America (Alcoa) y la Gulf Oil Corporation, juntando esfuerzos con Henry Clay Frick para instituir la Union Steel Company y la Union Trust Company.

Ya para principios de los años 1920, se convirtió en uno de los hombres más ricos en los Estados Unidos.

Fue elogiado por el auge económico de los años 20, pero criticado durante la Gran Depresión y en 1932, renunció a todo para desempeñarse como embajador en Inglaterra.

Notable coleccionista y filántropo, donó una extensa colección de arte y 15 millones de dólares para constituir la Galería Nacional de Arte de Washington D. C.