Dos años más tarde se instaló definitivamente en Stein como carpintero y en 1761 abrió un pequeño taller donde producía lápices, actividad típica del oficio de carpintero en aquella época.

Los esfuerzos para convertir la fabricación de lápices en un oficio aprobado por el gremio fracasaron debido a la falta de aprobación del Nuremberg Rugsamt, que supervisaba los comercios en la ciudad y sus alrededores.

Los lápices hechos de grafito puro se desmoronaban y rompían fácilmente.

Así, en 1771, Faber emprendió los primeros intentos de mejorar los lápices combinando grafito molido con azufre, antimonio y resinas aglutinantes.

Con su pequeño taller sentó las bases de una fábrica de lápices que su bisnieto Johann Lothar Freiherr von Faber amplió a la mundialmente famosa marca Faber-Castell a mediados del siglo XIX.