Comenzó su vida laboral como impresor, pero gracias a una fortuna heredada, Scherzer pudo viajar mucho.
Tomó parte activa en la revolución de 1848 y fue exiliado a Italia en 1850.
Aquí Scherzer se hizo amigo de Moritz Wagner y, junto con él, viajó por América del Norte y Central y las Indias Occidentales (1852-1855).
De esa expedición trajo suficientes hojas de coca que Albert Niemann aisló posteriormente cocaína.
Durante 1869 fue el líder de una expedición al este de Asia, luego se desempeñó como cónsul en varios lugares, entre ellos Smyrna (la actual Esmirna).