Nació en Baños de Montemayor,[1]​[2]​ pueblo actualmente perteneciente a la provincia de Cáceres.

Después de pasar, con veinte años, por Puerto Rico y Panamá, llegó en 1548 al Perú como soldado del Pacificador Pedro de la Gasca.

Este año todos regresaron a la capital del Virreinato del Perú, y vivieron en una casa del barrio de Malambo, donde hoy se levanta el Santuario de Santa Rosa de Lima, también conocido como Iglesia de Santa Rosa.

Hacia 1575, cuando Gaspar Flores servía de arcabucero en la guardia del Virrey Francisco de Toledo, se casó con la limeña María de Oliva Herrera, con quien tuvo 13 hijos, entre ellos, Gaspar, Bernardina, Hernando, Isabel, Francisco, Juana, Antonio, Andrés, Francisco Matías y Jacinta.

Su hija Isabel Flores de Oliva, futura Santa Rosa de Lima, nació en Lima en 1586.