Gilsa era descendiente de una familia alemana noble, los señores y barones de Gilsa, y él mismo un barón (Freiherr).
Después de la guerra, Gilsa fue trasladado al Reichsheer.
Como tal se convirtió, en el verano de 1936, en Comandante de la villa olímpica, sustituyendo al degradado Wolfgang Fürstner.
Durante la campaña, Gilsa se adjudicó los dos clips (Spangen) por sus cruces de hierro, lo que significa que se le concedieron estas condecoraciones por segunda vez.
Gilsa logró tomar Charleville con algunos puentes sobre el río Mosa intactos, contribuyendo al éxito del avance alemán.
Redirigió y desvió las diferentes tropas y refugiados que pasaban por la ciudad; así mismo los soldados que estaban de permiso y heridos leves fueron llamados para formar nuevas tropas.
Capturado por los rusos al final de la guerra, Gilsa se suicidó.