Sus padres eran Edward Gilbert, militar británico, y Eliza Oliver, que tan solo tenía 15 años cuando tuvo a Lola.
En una ocasión, clavó unas flores en la peluca de un señor respetable durante una misa y, en otra, corrió por las calles desnuda.
Lola causó una gran impresión en sus profesores, que más tarde la definieron como una niña graciosa y elegante.
Decían que tenía unos ojos especialmente hermosos, una piel oscura propia de Oriente y cierta altivez.
Pero también comentaban «la violencia y la obstinación de su temperamento, que muy a menudo producía dolorosa ansiedad en su buenísima tía».
Se quedó en Sunderland solo un año, partiendo posteriormente a Bath, para recibir «una educación más sofisticada».
En estos momentos ya estaba aceptando favores de hombres ricos y empezó a ser considerada una cortesana.
En 1845, tras la muerte de su amante en un duelo (no relacionado con ella) con el periodista Alexandre Dujarier, abandonó París.
Pero los términos de su divorcio con Thomas James no le permitían casarse con nadie más hasta que el otro falleciera.
Este matrimonio fracasó muy pronto, pero Lola permaneció en su casita de Grass Valley durante dos años más.
Allí abrió un saloon, decorado con gran lujo, donde cada noche se daban cita los hombres influyentes de la zona y donde actuaba.