Descendía de una familia que probablemente era originaria de Gosel en el Egerland y que emigró a Gürth (ahora Bad Brambach) antes de 1630.Este matrimonio produjo cuatro hijos: El Ministro de Estado prusiano y Oberpräsident de la provincia de Prusia Occidental, Gustav (1838-1902); el Ministro de Guerra prusiano y General de Infantería, Heinrich (1841-1927); el General de Infantería prusiano, Konrad (1848-1933); y el Teniente General prusiano, Wilhelm von Goßler (1850-1928).Goßler se unió al 1.º Regimiento de Infantería en 1860, se convirtió en Teniente Segundo en 1861 y tomó parte en la guerra austro-prusiana en 1866.Después comandó una compañía en el 2.º Regimiento de Granaderos hasta 1878, cuando una vez más fue trasladado al Ministerio de Guerra, al Departamento de Asuntos Militares.También fue diputado plenipotenciario en el Bundesrat, director del Reichsrayonkommission y un miembro de la comisión disciplinaria.
