Nace en Odh, Västergötland, Suecia, y migra a Estados Unidos a los 22 años, en 1882.
Obtiene su BS y su máster en la Universidad de Nebraska y su PhD en la Universidad de Columbia.
Fue principalmente un botánico práctico de campo, y taxónomo; un prolífico investigador, publicador, describiendo alrededor de 1700 especies durante su carrera.
Se especializó en la flora de las Grandes Llanuras y de las Montañas Rocosas.
Desde 1899, Rydberg formó parte del equipo del Jardín Botánico de Nueva York, y luego fue el primer curador de su herbario.