Se estableció en abril de 1889, cuando se abolió el Almirantazgo Imperial alemán y sus funciones se dividieron entre tres nuevas entidades: el Alto Mando Naval Imperial (Kaiserliches Oberkommando der Marine), el Gabinete Naval Imperial (Kaiserliches Marinekabinett) y la Oficina Naval Imperial que realizaban funciones de un ministerio para la Armada Imperial alemana.
Así que mientras había ejércitos prusianos, bávaros, sajones y de Württemberg, había una única Armada Imperial, la única formación bajo la autoridad directa del Reich alemán junto a las fuerzas coloniales Schutztruppe.
[1] También dirigía los astilleros imperiales en Danzig, Kiel y Wilhelmshaven, varias instituciones educativas y el instituto meteorológico Seewarte en Hamburgo.
Cuando, en 1897, el Konteradmiral Alfred von Tirpitz sucedió al Secretario de Estado Friedrich von Hollmann, quien había renunciado en una disputa sobre el presupuesto naval, convirtió a la Oficina Naval en la base de poder en su campaña para construir una gran flota alemana de alta mar para enfrentarse a la Royal Navy británica.
Tirpitz había instado a la disolución del Alto Mando de la Armada Imperial en 1899, lo que le dio aún más poder, pero resultó fatal en la Primera Guerra Mundial.