En la actualidad únicamente se conservan escasas ruinas en una finca particular.
Fue fundado a finales del siglo XIV o principios del siglo XV por Alfonso García de Cuéllar, alcaide de los Reales Alcázares de Segovia y contador mayor de Enrique III de Castilla, y descendiente por línea ilegítima de Alfonso IX de León.
Fue vecino y regidor de Cuéllar, donde fundó la iglesia o ermita de San Julián, y yace sepultado en los sepulcros gótico-mudéjares de la iglesia de San Esteban de Cuéllar.
[1] En esta casa agustina vivieron, entre otros, fray Francisco de Castro, hijo del convento de Nuestra Señora de Gracia de Medina del Campo (Valladolid);[2] y Santo Tomás de Villanueva, que se encontraba en ella cuando fue nombrado arzobispo de Valencia en 1544.
[3] Su imagen titular se venera en la actualidad en el municipio de Pedrajas de San Esteban (Valladolid), celebrando la fiesta de San Agustín.