Nacido en Attleboro, Massachusetts, Rounseville también actuó en varias ocasiones en la televisión, así como en dos filmes.

En el film Carousel, adaptación del musical de Richard Rodgers y Oscar Hammerstein II, interpretó a Mr.

Snow, trabajando junto a Barbara Ruick en el papel de Carrie Pipperidge.

[8]​ En esta última, la soprano Leontyne Price hizo una de sus primeras actuaciones televisivas.

Con mayor frecuencia, Rounseville participó en modestas reposiciones de operetas y musicales en el New York City Center, con obras como Brigadoon (como Charlie Dalrymple)[10]​ y Show Boat (como Gaylord Ravenal).