Progresó rápidamente, haciéndose una buena reputación en películas tales como Heart o' the Hills, junto a Mary Pickford.

En 1926, Gilbert rodó Flesh and the Devil (El demonio y la carne), su primera película con Greta Garbo.

Gilbert quiso casarse con ella, pero Garbo cambió de opinión y no se presentó en la ceremonia.

Durante su época con la MGM, Gilbert chocó con frecuencia con el jefe del estudio Louis B. Mayer por asuntos creativos, sociales y financieros.

Los dos eran viejos amigos, y Thalberg se propuso relanzar la carrera de Gilbert, aunque la débil salud del primero limitó sus esfuerzos.

Con la llegada del sonido, John Gilbert habló por primera vez en el musical sonoro Hollywood Revue of 1929.

Según las críticas de la época, los espectadores se reían del ardiente personaje interpretado por Gilbert en su primera película totalmente hablada His Glorious Night (1929).

Aunque en sus películas posteriores Gilbert consiguió mejores papeles, su carrera nunca se recuperó de este desastre.

Gilbert actuó por última vez junto a Garbo en La reina Cristina de Suecia (1933), dirigida por Rouben Mamoulian.