La zona fue estudiada por el profesor Alfonso Isla, quien llevó a cabo prospecciones arqueológicas concluyendo que el propio edificio está rodeado de varios yacimientos, los cuales, se sitúan en una cronología desde el 2000 a. C. hasta la época visigoda, hallando numerosos restos arqueológicos de esta última época.

Este priorato benedictino comienza como un primitivo cenobio fundado por Ramiro II de León en el siglo X, conocido como Santa María de Mámbulas por las cercanas montañas denominadas "mamblas" (debido a su semejanza con senos) que separan los valles del Duero y del Jaramiel.

En Santa María de Duero está el prior junto con algún lego.

[4]​ En la actualidad este edificio se conserva bajo las reformas efectuadas en el siglo XIX por el Conde de la Oliva, que lo adquirió en 1893.

Se adaptó para vivienda particular dentro de las modas del gusto neogótico, simulando un castillo, como indica su remate almenado.