Después de un empleo en la universidad de Upsala y viajes por Europa y América del Norte, recibió una cátedra de química general y agrícola en Upsala en 1874.
Cleve descubrió los elementos holmio y tulio en 1879.
El mineral cleveíta fue nombrado en 1878 por el geólogo y explorador Adolf Erik Nordenskiöld en su honor.
Cleve fue padre de la botánica y química Astrid Cleve y abuelo de su hijo, Ulf von Euler, fisiólogo y farmacólogo, un ganador del premio Nobel.
Fue galardonado en 1894 con la medalla Davy, concedida por la Royal Society «por sus investigaciones sobre la química de las tierras raras».