[7]​ Bay no apareció en películas hasta que tuvo un pequeño papel en Foul Play, una comedia de 1978 protagonizada por Goldie Hawn y Chevy Chase.

[5]​ Su primera aparición en televisión tuvo lugar al interpretar a la abuela del personaje Fonz en Días felices.

[5]​ En 1986 Bay apareció como la tía del personaje ficticio que interpretaba Kyle MacLachlan en la película Terciopelo azul de David Lynch.

El éxito al interpretar este papel le valió a Bay para actuar en varias películas posteriores de Lynch, incluyendo el papel de señora malhablada en la película Wild at Heart y como Miss Tremond en la serie Twin Peaks y en su secuela Twin Peaks: Fire Walk with Me.

[5]​ En 1990 Bay tuvo un pequeño papel en la película protagonizada por Anjelica Huston y John Cusack, The Grifters.

En 1994 interpretó a Miss Pickman en la película de John Carpenter In the Mouth of Madness.