El edificio fue fundado en 1752 por Pascual Fernández de Linares, un indiano de la localidad que se había enriquecido en Perú.

[3]​ La casa fue visitada por muchos escritores y políticos, amigos de José María, que pasaban temporadas en ella y escribían sobre sus estancias.

Rafael Alberti escribió en 1957 La arboleda perdida, donde describía el tiempo que pasó junto a José María.

[3]​ Juan Manuel de la Cuesta, abuelo de José María, también había recibido a ilustres personajes durante mucho tiempo, como Miguel de Unamuno, Carlos Gardel, José del Río Sainz, Gerardo Diego, Giner de los Ríos y Gregorio Marañón, entre otros.

[4]​ La casa contiene una colección bibliográfica española muy importante, principalmente de los siglos XIX y XX.