Nacido en San Francisco, California, Hartman, al igual que Fred Astaire, empezó como bailarín, actuando junto a su hermana.
Sin embargo, unos años más tarde sí tuvieron éxito con la obra de Cole Porter Red Hot and Blue.
Tras la vuelta de la pareja a Broadway, decidieron escribir y producir una revista propia.
Obtuvo un gran resultado su pieza musical de 1948 Angel in the Wings, ganando el matrimonio el Premio Tony a los mejores actores.
A los Hartman les ofrecieron protagonizar una sitcom para la NBC, The Hartmans (at Home), pero el público rechazó el show, que no daba oportunidad a los actores de demostrar sus habilidades físicas y musicales.