[2] James se casó cuatro veces, primero con Emily Ida Freedburn en 1852, luego con E.R Borden, más tarde con Edith Colborne y en 1911 con Florence MacDonnell Gaffney.
En 1861 fue nombrado inspector de aduanas en Nueva York y tres años más tarde fue ascendido a pesador.
James tuvo mucho éxito en el nuevo cargo, organizando los registros de la división, que había estado en confusión, en solo un mes, y actualizando el trabajo, que había estado atrasado hasta tres años, en solo seis meses.
[3] James instó al presidente Ulysses S. Grant que le permitiera suceder a Alonzo B. Cornell como agrimensor del puerto.
Sin embargo, David M. Key dimitió como Director General de Correos en 1880, y Hayes le ofreció ese puesto a James.
Se le pidió que fuera el candidato republicano a la alcaldía de Nueva York el mismo año, pero también lo rechazó.
Cuando asumió el cargo por primera vez, encontró un déficit anual de $2 millones, con cantidades variables con pocas excepciones que se remontan a 1851.