Ullmann estudió arquitectura en la Academia de Bellas Artes de Viena con los profesores August Sicard von Sicardsburg y Eduard van der Nüll .

Colaboró a menudo con el arquitecto Antonín Viktor Barvitius, con cuya hermana se casó en 1856.

[3]​ En 1874 había diseñado varios edificios en Praga.

En las primeras obras de Ullmann se ven ecos de elementos estilísticos medievales (ver la Iglesia de los Santos Cirilo y Metodio en Praga 8 - Karlín).

En la siguiente fase de su obra, estuvo significativamente influenciado por la escuela renacentista vienesa.