Ulbach nació en Troyes, una ciudad situada en Aube, Francia.

Como Ferragus, llamó «pútrida» la novela Thérèse Raquin, en una larga diatriba.

Editó la Revue de Paris hasta su supresión en 1858, y en 1868 fundó un periódico, La Cloche, que fue suprimido un año después por su hostilidad hacia el imperio.

Ulbach estuvo encarcelado durante seis meses, y cuando fue liberado estableció nuevamente el periódico, y entró en problemas tanto con la comuna como el gobierno, por lo que fue encarcelado otra vez en el período 1871-72.

A Dictionary of Arts, Sciences, Literature, and General information (en inglés) (11.ª edición).