Fue alabado su trabajo como creador de la sitcom Mister Peepers.

Swift volvió a Disney como guionista, director y productor de Pollyanna, tras lo cual rodó The Parent Trap (1961).

Tras rodar Love Is a Ball, Swift fue contratado por Columbia Pictures para trabajar en The Interns, Under the Yum Yum Tree y Good Neighbor Sam, los dos últimos filmes protagonizados por Jack Lemmon.

Swift volvió otra vez a Disney para escribir Candleshoe en 1977.

En 1951 se casó con la actriz Maggie McNamara,[3]​ divorciándose más adelante la pareja.