Durante el día, mientras sus padres trabajaban, su abuela, Augusta Fax (de quien recibió su nombre) la cuidaba y le contaba historias.

Baker se deleitaba con estas historias y llevó su amor por ellas a lo largo de su vida.

[2]​ Aprendió a leer antes de comenzar la escuela primaria, luego se matriculó en la escuela secundaria negra (racialmente segregada) donde enseñaba su padre y se graduó a la edad de 16 años.

[1]​ Tras mudarse con su marido a Nueva York, Baker intentó trasladarse al Albany Teacher's College (ahora Universidad Estatal de Nueva York en Albany), sólo para encontrarse con la oposición racial de la universidad.

En este cargo, supervisó los programas para niños en todo el sistema de la NYPL y estableció políticas para ellos.

[2]​ Además, Baker influyó en muchos autores e ilustradores infantiles, como Maurice Sendak, Madeleine L'Engle, Ezra Jack Keats y John Steptoe, mientras ocupaba este puesto.

Las listas y los estándares se distribuyeron gratuitamente desde la sucursal de la calle 135 en Harlem.

Muchos bibliotecarios, editores y autores de la época utilizaron las listas junto con su propio trabajo.

[9]​ En 1971, pasó a llamarse The Black Experience in Children's Books, y sus criterios desempeñaron un papel importante a la hora de generar conciencia sobre los estereotipos dañinos en Little Black Sambo de Helen Bannerman.

Durante su estancia allí, Baker coescribió un libro titulado Storytelling: Art and Technique con su colega Ellin Greene, que se publicó en 1987.