Ha experimentado intensas reformas y diferentes usos, desde cuartel de la guardia civil a centro educativo privado, siendo su último uso dependencias institucionales (Defensor del Ciudadano).[1] Iniciado por Petronila Pavón, esposa del segundo marqués de Villapanés y finalizado por su hijo, María Panés González de Quijano, consta de dos casas: la más antigua, conocida como “la casa grande” tiene su fachada hacia la calle Empedrada, y la conocida como “la casa chica”, tiene su fachada a la calle Cerro Fuerte y Cruz Vieja.[3] Elegante y sencilla, destaca su prolongada fachada, de tres plantas, sobre la cual resalta un balcón rectilíneo.Se construcción de inició en 1766, con el objetivo de equilibrar la casa con una nueva fachada en su derecha, hacia la calle Cerrofuerte y darle a su vez, una portada monumental y más equilibrada ante la Cruz Vieja.[9] Aunque parte del dinero recibido en subvención para hacerlo no se empleó para dicho fin Sin embargo en 2020 las obras de la "Casa grande" seguían sin efectuarse.
