Cuando se mudó a Haarlem estudió entre 1585 y 1590 con Hendrick Goltzius (1558-1617).
De Gheyn se casó en 1595 con Eva Stalpaert van der Wiele de Malinas, con la que tuvo un hijo, Jacob de Gheyn III (hacia 1596-1641) que también fue grabador, especializado en temas mitológicos.
Se trasladó a Leiden en 1596 y permaneció en ella hasta 1602; allí realizó el Sitio de Geertruidenberg para las autoridades locales; comenzó con la pintura y experimentó con aguafuertes.
Hacia 1605 se asentó en La Haya, donde trabajó para la corte de los Orange, y diseñó la gruta (la primera en los Países Bajos) y otras ornamentaciones del Buitenhof, el jardín del príncipe Mauricio de Nassau (1567-1625).
Sus dibujos y grabados son mucho más importantes que sus pinturas, por su espontaneidad e informalidad son extraordinarios documentos del periodo de la transición del manierismo al naturalismo del arte holandés.