Nació en Washington D. C., hija del Conde Ferdinand von Stosch de Mantze en Silesia, quien luchó por la Unión, y Julia Schayer, que era escritora.
Estudió música en Bruselas, París, y Leipzig, y tocó el violín profesionalmente bajo los mandos de Arthur Nikisch y Anton Seidl, entre otros.
[2] Luego se casó con el banquero Edgar Speyer (más tarde Sir Edgar), de London, donde vivieron hasta 1915.
[3] Sir Edgar tenía antepasados alemanes y debido a los ataques antialemanes contra él ese año,[3] se mudaron a los Estados Unidos y establecieron su residencia en Nueva York, donde Speyer empezó a escribir poesía.
[4] Tuvo cuatro hijas: Enid Howland con su primer marido y Pamela, Leonora, y Vivien Claire Speyer con su segundo marido.