[2] En el reinado de este último, fue frecuentado en muchas ocasiones por el monarca y su corte.
El edificio no volvió a ser visitado por los sucesivos monarcas castellanos y comenzó un período de deterioro.
Su situación se presume en un lugar cercano a Navas del Rey, no demasiado lejos de Valdemorillo.
Se conoce que Juan II concedió a la casa distintas exenciones fiscales.
También su hijo Enrique IV, siendo príncipe y señor de Segovia, le concedió exenciones similares.