Los primeros documentos que podemos encontrar sobre esta emblemática edificación datan de finales del siglo XII y se refieren a ella como Torre de Canedo.
A medida que avanzamos en el tiempo, los documentos encontrados nos indican el progresivo deterioro de su estado.
A principios del siglo XVI, D. Antonio de Tovar, pariente cercano de Pardo de Cela comienza a construir una fortaleza sobre la torre con un carácter menos defensivo; remodelando ésta al gusto de la época, con mayores ventanas para otorgar más luz al interior, en consonancia al resto del edificio, además de otros elementos decorativos para dar más importancia al conjunto.
A partir de esta fecha, diferentes familias que vivieron en la fortaleza a lo largo del tiempo; la mayor parte como arrendatarios, llegando en momentos a vivir más de una familia en el inmueble al mismo tiempo.
En la actualidad el edificio ha sido restaurado, y puede ser visitado.