Fue hijo del comerciante Jacob Arfwedson y su esposa Anna Elisabeth Holtermann.

En el último año de sus estudios, recibió un puesto (ad honorem) en la Royal Board of Mines, donde continuó hasta alcanzar el puesto de notario (aún ad honorem) en 1814.

En Estocolmo, Arfwedson conoció al químico Jöns Jakob Berzelius, quien le permitió el acceso a su laboratorio privado.

Allí descubrió el elemento litio en el año 1817, mientras analizaba una mina de petalita.

Posteriormente formó su propio laboratorio en su ciudad natal en el cual trabajó hasta el resto de sus días.