Su primer papel protagonista fue en la película October Sky (1999), a la que le siguieron trabajos como la película independiente de culto Donnie Darko, en la que interpreta a un adolescente con problemas psicológicos y donde compartió reparto con su hermana Maggie Gyllenhaal, y The Day After Tomorrow (2004), que trata el tema catastrófico del enfriamiento global.

En 2005 se produjo su consagración ante el gran público, gracias a su interpretación de un marine frustrado en Jarhead y, sobre todo, al personaje del vaquero Jack Twist en Brokeback Mountain, de Ang Lee, donde compartió protagonismo con Heath Ledger.

Sus padres no le permitieron aparecer en la película The Mighty Ducks de 1992 porque la producción requería que Gyllenhaal dejara su hogar por dos meses.

[1]​ En los años venideros, sus padres le permitieron participar en pruebas de casting para distintos papeles, pero regularmente rehusaban que su hijo aceptara el papel en caso de resultar electo.

Actuó en la película A Dangerous Woman (1993), al igual que su hermana; en «Bop Gun», un episodio de la serie Homicide: Life on the Street, al año siguiente; y en la comedia de 1998 Homegrown.

Abandonó la universidad dos años después para poder concentrarse en la actuación, aunque ha expresado su intención de terminar su licenciatura.

[13]​ En ambas películas caracterizó a un inestable personaje que comienza una aventura temeraria con una mujer mayor de edad.

La película retrata las aventuras del personaje que da título a la película, quien persigue al amor de su vida antes de que el mismo se case con el hombre equivocado.

La historia, que recibió críticas variadas,[17]​ está libremente basada en las experiencias personales del escritor y director Brad Silberling, tras el asesinato de su pareja, Rebecca Schaeffer.

[20]​ En su lugar, protagonizó la producción The Day After Tomorrow en 2004, coprotagonizada por Dennis Quaid, quien interpretó a su padre.

[1]​[21]​ Gyllenhaal encarnó a Sam Hall, un estudiante que queda atrapado con sus amigos en la Biblioteca Pública de Nueva York, luego de que una marejada ciclónica provoca un tsunami e inunda la ciudad.

Gyllenhaal recibió críticas favorables y el premio Evening Standard Theatre en la categoría próxima estrella sobresaliente.

[25]​[26]​ El 2005 fue un año prolífico para Gyllenhaal, ya que protagonizó las películas bien recibidas por la crítica Proof, Jarhead y Brokeback Mountain.

En Jarhead, se concentró en una actuación contraria a su estilo «sensible aunque perturbado» usual al mostrar un tipo de agresividad masculina como un violento marine de Estados Unidos durante la primera Guerra del Golfo.

Gyllenhaal fue nominado al Óscar en la categoría mejor actor de reparto, que ganó George Clooney por su trabajo en Syriana.

[31]​ Asimismo, se le premió con el premio Young Award a la excelencia artística por su papel.

[37]​ Del mismo modo, ocupó el puesto número dos en la votación de Gay Wired Magazine sobre los actores masculinos que han interpretado a personajes gais en las películas.

[41]​ En 2007, protagonizó la película Zodiac, dirigida por David Fincher y basada en una historia real.

[42]​ Al mismo tiempo, trabajó al lado de Meryl Streep, Alan Arkin y Reese Witherspoon en Rendition, un thriller político dirigido por Gavin Hood sobre la política estadounidense de rendición extraordinaria.

[44]​ Su siguiente trabajo fue en la comedia Nailed, para la cual grabó sus escenas en Carolina del Sur con Jessica Biel.

[54]​ Repitió su rol en Spider-Man: No Way Home (2021), aunque tan solo apareciendo en escenas de archivo.

Jamie Lee Curtis es su madrina,[1]​ y varias veces él ha mencionado que sus padrinos forman una pareja gay.

[60]​ Su tío, Anders Gyllenhaal, es el editor ejecutivo del periódico The Miami Herald.

[66]​ Además, creó una campaña para el candidato presidencial demócrata John Kerry.

[69]​[70]​ Consciente del medio ambiente, Jake también suele reciclar con frecuencia, diciendo en una entrevista que gasta hasta $400 dólares al año para plantar árboles en un bosque de Mozambique, lo cual se debe en parte a la promoción que realiza para el programa de The Carbon Neutral Company, Future Forests.