Tras servir en el Ejército Austrohúngaro durante la Primera Guerra Mundial, Homolka estudió en la Universidad de Música y Artes Interpretativas de Viena, empezando su carrera en la escena teatral austriaca.
Sus primeros filmes fueron Die Abenteuer eines Zehnmarkscheins (1926), Hokuspokus (1930), y Dreyfus (1930).
Aunque a menudo encarnaba a villanos tales como espías comunistas y militares o científicos del Bloque del Este, fue nominado al Oscar al mejor actor de reparto por su interpretación del malhumorado y querido tío de I Remember Mama (1948).
Homolka también actuó junto a Ingrid Bergman en Rage in Heaven, Marilyn Monroe en The Seven Year Itch, Ronald Reagan en Prisoner of War, y con Katharine Hepburn en The Madwoman of Chaillot.
Su última película fue el drama romántico de Blake Edwards The Tamarind Seed en 1974.