Al llegar a los Estados Unidos con 18 años, Seligman inicialmente se estableció en Mauch Chunk, Pensilvania, donde fue a trabajar como cajero/empleado de Asa Packer, quien más tarde se convirtió en congresista de los Estados Unidos.

Los Seligman padecieron algunos abusos antisemitas en sus interacciones con los estadounidenses, aunque no se desanimaron de continuar vendiendo.

Según Stephen Birmingham, Seligman se vio obligado a aceptar "bonos 7.30" del gobierno como pago por los uniformes que entregaba su fábrica.

[8]​ En 1877, Seligman estuvo involucrado en el incidente antisemita más publicitado en la historia de los Estados Unidos hasta ese momento, cuando Henry Hilton le negó la entrada al Hotel Grand Union en Saratoga Springs (Nueva York).

También contribuyeron a financiar el primer ferrocarril elevado de Nueva York.

Después de la guerra civil estadounidense, nada generó tanto interés en las finanzas como el transporte ferroviario, y los Seligman eran, en ese momento, los principales financieros del país.

Sin embargo, nunca se sintió cómodo en este sector, y sospechó que estaban sobreinvirtiendo en ferrocarriles.

Joseph, desafortunadamente, murió cinco años antes de poder ver al AT&SF llegar a Los Ángeles.

La aridez del desierto hizo fracasar la empresa, pero sigue habiendo una ciudad llamada Seligman (Arizona).

George Sewall Boutwell aceptó el puesto y finalmente se enfrentó con los Seligman.

Fue el primer incidente antisemita de este tipo en los Estados Unidos en lograr una publicidad generalizada.

El propio Hilton no estaba contento con Seligman, ya que se sentía molesto porque no lo había invitado a una cena ofrecida en honor de Ulysses S. Grant después de convertirse en presidente.

Stewart, y después de su muerte, su gerente Hilton, creían que la causa del declive era la presencia de "israelitas" (es decir, judíos) en el hotel; los cristianos, según su teoría, no deseaban quedarse en un hotel que admitiera judíos.

A Seligman le dijeron que no podía quedarse en el hotel.

Los historiadores no están de acuerdo con respecto a si la familia Seligman fue rechazada físicamente del hotel, se les dijo que no vinieran al hotel o se les comunicó que solo podían quedarse por una última vez.

Hilton también fue castigado por Henry Ward Beecher (que conocía a Seligman) en un sermón titulado "Gentil y judío".