Su padre falleció durante la guerra de Secesión Estadounidense cuando Joseph Rose era joven.

Mientras que Rose trabajaba en el museo nacional, adquirió profundos conocimientos sobre varias familias de plantas, como Apiaceae y Cactaceae.

Junto a Nathaniel Lord Britton, Rose publicó variados artículos sobre Crassulaceae.

Abandonó por un tiempo su trabajo en el Smithsoniano y realizó varios viajes a América del Sur: 1915 en Chile, Perú, Bolivia; 1916 en Argentina, Brasil; 1918 en Venezuela, Ecuador; y, publicó con Britton, la obra de cuatro volúmenes, The Cactaceae (1919 - 1923), ilustrada por Mary Emily Eaton (1873-1961).

[1]​ Más tarde, Rose volvió a su trabajo en el Smithsoniono, realizando múltiples contribuciones al campo de la botánica.