Se encuentra situada en la calle de Juan Bravo, en pleno casco histórico de la capital segoviana.

Fue construida en el último tercio del siglo XV como casa-fuerte por don Pedro López de Ayala, con el fin de defender la Puerta de San Martín, derribada en 1883.

La casa fue más tarde adquirida por Alonso González de la Hoz, Contador Mayor del Reino, y pasó por herencia a su hijo Juan de la Hoz, Regidor de Segovia.

Es conocida por su fachada, con 617 picos de granito, y por su patio renacentista.

El zaguán y el patio están decorados con azulejos de Talavera que tienen pintados diferentes edificios de Segovia.