Una vez que Noruega fue sometida, llegó a ser evidente que el U 4 y sus cuatro gemelos supervivientes resultaban obsoletos en aquel momento ante sus contemporáneos, por lo que fueron relegados a tareas de entrenamiento de tripulaciones encuadrados en la vigésimo primera Unterseebootsflottille (flotilla de submarinos), en la que sirvió en el mar Báltico.En algunas de estas patrullas de entrenamiento, se dirigió a aguas soviéticas durante la operación Barbarroja, aunque tampoco en esta ocasión logró encontrar ningún blanco.El 30 de septiembre de 1939, a las 22:55 horas, en el Mar del Norte, U-3 avistó un submarino británico y disparó un torpedo, pero falla.Formando un grupo de 8 submarinos (Lindesnes), junto con el U-2, U-5 y el U-6 para la Operación Weserübung, la invasión alemana de Dinamarca y Noruega.Todos los torpedos disparados fueron erróneos al blanco.Este ataque se cree que han causado el hundimiento del U-1, pero era en realidad era contra el U-3, que no sufrió daños.
