James W. Nye nació en DeRuyter (Nueva York), asistió a escuelas públicas y a la Academia Homer, en Homer (Nueva York); estudió Derecho en Troy, también en Nueva York, fue admitido en el Colegio de abogados y ejerció en el condado de Madison.
Nye fue fiscal de distrito en 1839 y sirvió como juez del condado de Madison desde 1840 hasta 1848.
Fue candidato infructuoso del partido Free-Soiler en las elecciones al trigésimo Congreso en 1846, y fue el primer presidente de la policía metropolitana de la ciudad de Nueva York, desempeñando el cargo desde 1857 hasta 1860.
Murió en White Plains (Nueva York) en 1876 y fue enterrado en el cementerio Woodlawn (ciudad de Nueva York).
El condado de Nye el mayor condado del estado de Nevada (y tercero en extensión de los Estados Unidos continentales), se llama así en su honor.