Por recomendación del asesor militar prusiano Jakob Meckel al gobierno japonés, los seis mandos regionales se transformaron en divisiones en virtud de la reorganización del ejército del 14 de mayo de 1888.
Como una de las divisiones más antiguas del Ejército Imperial Japonés, la 3.ª División participó en operaciones de combate durante la Primera guerra sino-japonesa, la Guerra ruso-japonesa, la intervención en Siberia y el incidente de Shandong.
Algunos de sus comandantes más notables fueron Katsura Tarō, Hasegawa Yoshimichi, Uehara Yūsaku y Nobuyoshi Mutō.
Más tarde sirvió durante un tiempo como cuartel general y división de guarnición para la estratégica provincia de Zhejiang.
Al final de la Segunda Guerra Mundial, con la disolución del Ejército Imperial Japonés, la 3.ª División se disolvió formalmente en Zhejiang.