Después fue embajador de Estados Unidos en Dinamarca (1920-1921), Suiza (1921-1924) y Turquía (1927-1932).

En 1932 fue nombrado embajador en Japón, cargo que desempeñó durante los nueve años siguientes, hasta el ataque japonés a la base de Pearl Harbor sin que hubiera habido una previa declaración de guerra.

[1]​ El nombramiento como embajador en Japón tenía para Grew un significado especial pues estaba casado con una nieta de Matthew Perry, el comodoro que mandaba la fuerza naval que se presentó en la bahía de Tokio a mediados del siglo XIX exigiendo la apertura de los puertos japoneses al comercio internacional.

[1]​ Grew hizo todo lo que estuvo en su mano para evitar la guerra, incluso tomando iniciativas sin haber dado cuenta previamente a su gobierno.

[2]​ Tras el ataque a Pearl Harbor estuvo detenido durante nueve meses por orden del gobierno japonés hasta que fue liberado y pudo volver a Estados Unidos en agosto de 1942, incorporándose inmediatamente al Departamento de Estado.