Según la leyenda fueron amigos o incluso rivales ya en su juventud, pero no hay ninguna prueba de ello.Hasta octubre de 1617 participó en dos viajes comerciales a Coromandel, en la India.En 1629, los cinco almirantes neerlandeses rechazaron que Heyn, de manera efectiva su nuevo comandante supremo, ampliase su personal con un oficial táctico especial, para cuya función Heyn había pensado en De With.En la misma batalla se procuró además otro enemigo, el vicealmirante Zealandico Johan Evertsen, acusándolo de cobardía y avaricia.La corte marcial fue presidida por Tromp y, aunque fue absuelto, De With sintió que Tromp había tratado de influenciar a los testigos en su contra.Recibió un disparo en el muslo izquierdo por una bala de mosquete y horas más tarde, a través del pecho.Cuando los soldados suecos abordaron el barco se negó a entregar su espada, luchando con dos de ellos de rodillas y exclamando: «¡He empuñado fielmente esta espada tantos años por Holanda, así que no la daré ahora a unos soldados rasos!».Se desplomó, fue llevado a su camarote para recuperarse, insistió en caminar por sí mismo sobre la pasarela hasta la nave sueca, se desplomó de nuevo y murió.De With era temido y odiado por sus inferiores —en varias ocasiones las tripulaciones no le permitieron a bordo para su uso como barco insignia— rechazado por sus iguales y siempre lleno de insubordinación hacia sus superiores.En los Países Bajos es considerado un héroe nacional y muchos lugares y edificios llevan su nombre, como el Witte de With Center for Contemporary Art de Róterdam.
La tumba monumento al almirante Witte de With, mostrando de forma destacada el globo que él circunnavegó.
