Aunque Frank y su familia permanecieron seguros en Suiza durante la Segunda Guerra Mundial, la amenaza nazi sin embargo afectó su comprensión sobre la opresión.
Publicó dos libros más de fotografías tomadas en Perú, y volvió a los EE. UU.
La propia insatisfacción de Frank con el control excesivo que ejercían sus editores sobre su trabajo también fue un factor determinante en su experiencia.
Con ayuda del artista que más influyó sobre su persona, el fotógrafo Walker Evans, Frank recibió un permiso especial de la Fundación John Simon Guggenheim en 1955 para viajar a través de los Estados Unidos y fotografiar la sociedad en todos los estratos.
Mientras conducía a Arkansas, Frank fue puesto en prisión de forma arbitraria después de haber sido detenido por un policía en alguna parte del Profundo Sur, un comisario le indicó que tenía una hora para dejar la ciudad.
Estas diferencias con los estándares contemporáneos de fotografía le dificultaron a Frank en un inicio ser publicado en los Estados Unidos.
Aunque las ventas en un comienzo fueron bajas, la introducción de Kerouac ayudó a elevarlas en gran parte por la popularidad que representaba el fenómeno Beat en ese entonces.
Con el paso del tiempo y mediante la inspiración a artistas posteriores, The Americans se convirtió en un trabajo representativo dentro de la fotografía y la historia del arte estadounidense, siendo a su vez el trabajo con que Frank más se identifica.
En 1960, Frank permaneció en el sótano del artista Fluxus George Segal mientras filmaba Sin of Jesus con una concesión de Walter K. Gutman.
Mick Jagger le indicó a Frank: 《Es una jodida buena película, Robert, pero si se muestra en América nunca más nos permitirán entrar en el país》.
Otras películas realizadas por Frank incluyen Keep Busy y Candy Mountain, ambas codirigidas junto a Rudy Wurlitzer.
Este trabajo ha sido descrito como una "autobiografía visual" y consiste en su mayoría de fotografías personales.
Frank continuó realizando filmes así como imágenes, y ayudó a organizar varias retrospectivas de su arte.