También era conocido por su colección de Shakespeare, Milton y la literatura estadounidense temprana.Este comenzó a coleccionar principalmente libros, pero también pinturas y esculturas hacia 1845.Trabajó brevemente con la agencia literaria londinense Wiley & Putnam, y luego con Henry Stevens de Vermont durante los siguientes treinta y cinco años, o el resto de su vida.[1] James Lenox tenía un sistema de catalogación que solo él conocía y guardaba sus libros encuadernados y apilados en las habitaciones de su casa, no en estanterías ni siguiendo ningún sistema organizado.Los nueve fideicomisarios nombrados fueron James Lenox, William H. Aspinwall, Hamilton Fish, Robert Ray, Alexander Van Rensselaer, Daniel Huntington, John Sheafe, James Donaldson y Aaron Belknap.Robert Lenox aconsejó a su hijo antes de su muerte que no vendiera la tierra demasiado pronto, porque predijo que la ciudad se expandiría hacia su tierra y aumentaría su valor.[4] Lenox contrató al arquitecto Richard Morris Hunt para diseñar su biblioteca en 1870, y en marzo de 1871 se había comenzado a trabajar en los cimientos.El trabajo avanzó lentamente desde allí y no se completó hasta 1877.La sala de lectura no estuvo disponible para el público hasta 1880.Asimismo, los visitantes de la galería solo eran bienvenidos dos días a la semana con entradas anticipadas que solicitaban por correo.El primer director fue John Shaw Billings, y supervisó la construcción del edificio de la Quinta Avenida que aún se mantiene en pie.No se vendió, probablemente debido a su tamaño (2,4 × 1,6 m) y al hecho de que otro retrato de Stuart Washington también estaba a la venta en la misma subasta.
