Fue mandado construir por Juan de Valvidares y Cecilia Estrada, marqueses de Villapanes y perteneció después al marqués de Casa Estrada.
Las dos torres tienen una altura mayor que el resto del edificio.
Ante el palacio se sitúa la capilla privada (siglo XVII), dedicada a la Virgen del Camino.
Posee una nave única, sacristía abierta en el lado sur que hace las veces de panteón familiar.
El interior se cubre con bóveda estrellada de cañón.