Estudió durante varios años en la "Boston Latin School" hasta graduarse en el año 1865 en la Universidad de Harvard.

Gracias a la inmensa colección de espectros que había dejado Henry Draper pudo iniciar, ampliar y completar una colección de espectrogramas que más adelante darían origen a la clasificación espectral gracias a la ayuda económica de la fundación "Henry Draper Memorial".

Como resultado del trabajo de las mujeres "computadoras", Pickering publicó en 1890 el primer catálogo Henry Draper, un catálogo con más de 10 000 estrellas clasificadas según su espectro y mejorado en 1897, que constituye la base del sistema utilizado en la actualidad.

Hermann Carl Vogel y él, conjuntamente, descubrieron las primeras estrellas binarias espectroscópicas en 1889; en colaboración con Olcott fundó (1911) la Asociación Estadounidense de Observadores de Estrellas Variables (AAVSO), entidad que todavía continúa en activo.

Su hermano menor William Henry Pickering también fue un destacado astrónomo gracias a su apoyo y ayuda.