El abuelo de Andy, Thomas Devine Sr., nació en 1842 en Irlanda, y emigró a los Estados Unidos en 1852.

Su experiencia deportiva le valió su primer papel en el film mudo The Fighting Football Cardinals.

En 1933, en el rodaje de una película dirigida por John Ford para Universal Studios, "Doctor Bull", Devine conoció a su futura esposa, Dorothy House.

Aunque se pensó que su peculiar voz le obstaculizaría el paso al cine sonoro, acabó convirtiéndose en su característica más famosa.

Otras actuaciones destacadas fueron las que hizo para El rojo emblema del valor y La vuelta al mundo en ochenta días (1956).

Con relación a su trabajo televisivo, fue presentador de un programa infantil, Andy's Gang, en la cadena NBC entre 1955 y 1960.