Después de su formación como farmacéutico entre 1819 y 1821, fue enseñado por el químico Jöns Jakob Berzelius.

En 1846 redescubrió el elemento químico niobio, al demostrar de manera concluyente que era diferente del tantalio.

Esto confirmó que Charles Hatchett había descubierto el niobio, en 1801, en el mineral columbita.

Al nuevo elemento la IUPAC le asignó finalmente el nombre de niobio en 1950, en honor de Níobe, la hija de Tántalo en la mitología griega.

En 1845, Rose publicó el descubrimiento de un nuevo elemento, llamado pelopio, que él creía haber encontrado en el mineral tantalita.