Se crio en Weimar, Alemania, y comenzó a ser un notable constructor de lentes ya en el año 1840, época en la que empezó a crear lentes de gran calidad con gran apertura, permitiendo unas imágenes muy nítidas.
Su primer laboratorio lo montó en la ciudad de Jena y fue allí donde empezó su carrera como óptico.
Carl sin embargo tenía una dolencia que le impedía hacer esfuerzos físicos y permanecer durante largo tiempo sentado, y es por esta razón por lo que el padre le dio de alta en un Gymnasium especial en Weimar.
Allí tuvo contacto con ambientes técnicos y científicos que le despertaron el interés para continuar en la Universidad con los estudios de Mecánica.
Zeiss permaneció en Jena cuatro años más y durante su estancia logró completar su formación científica.
Para vivir vendía en las tiendas los instrumentos que él mismo elaboraba, de esta forma había: gafas, telescopios, microscopios, termómetros, barómetros, balanzas, así como otros accesorios o dispositivos, siendo en la óptica donde destaca.
Pronto haría fuerte competencia a los constructores de estos aparatos en Europa como Chevalier (París), Plössl (Viena) así como a su propio maestro Körner, haciendo no solo aparatos más baratos sino que tenían ciertas mejoras técnicas, como por ejemplo los microscópios de la competencia movían el objetivo para enfocar, mientras que los de Zeiss lo hacían mediante una cremallera en el ocular.
Zeiss adquirió la fama y reputación internacional necesaria para el buen devenir de su negocio.
Esta situación cambió en 1857 con la dirección de Löbers, en la que se produjo una división del trabajo.
Desde los comienzos Carl fue asistido por el botánico Matthias Jacob Schleiden (1804-1881) y fue él quien fue dando ideas a Carl acerca de las mejoras del microscopio, quizás motivado por indagar con ciertas mejoras en la teoría celular.
De esta forma empezó Zeiss la construcción de su más simple microscopio que tenía solo dos lentes y un objetivo, que se ajustaba con un tubo en movimiento gracias a un tornillo.
En 1863 Zeiss fue reconocido con el título de Hofmechanikus debido a su brillante carrera.
Ya en el año 1861 estaba establecido y tenía una red de clientes famosos, es de resaltar la del zoólogo Ernst Haeckel (1834-1919), que posteriormente se hizo mundialmente famoso.
La óptica de los microscopios y oculares simples estaba no obstante improvisada y este diseño convencía a pocos clientes, aunque no era de la misma opinión Schleiden.
Sin embargo la disposición de las lentes era una aventura que no le estaba saliendo bien del todo.
Años antes Fraunhofer había realizado las mismas pruebas, pero eran desconocidas en la fábrica de Zeiss.
Zeiss le ayudó durante esta etapa proporcionándole el mejor hombre de su taller: August Löber.
En el catálogo n.° 19 sobre microscopios y aparatos auxiliares se cita: „Die hier aufgeführten Mikroskop-Systeme sind sämtlich neuerdings auf Grund theoretischer Berechnung des Herr Professor Abbe in Jena construiert.“ ("Los sistemas de microscopía citados en el catálogo son novedades construidas en Jena basadas en los cálculos teóricos del Señor Profesor Abbe") su calidad era tan grande que no había competencia, esto motivó a subir el precio de sus productos: en 1871 el mejor microscopio del catálogo costaba 127 táleros, y ahora en 1872 el modelo principal costaba 387 táleros.