[1]​ El castillo de los Marqueses de Villafranca se levanta sobre otro castillo que había construido anteriormente, conocido con el nombre "fuerza".

Este castillo fue atacado y destruido en 1507 por el hijo ilegítimo de Pedro Álvarez Osorio, I conde de Lemos.

Así, transformó una edificación de tipo feudal en un importante palacio de estilo italianizante, ampliándolo e incorporando fuentes, pérgolas y hornacinas decoradas con esculturas.

La torre del homenaje destaca por su elegancia y admirable situación.

Su puerta principal se encuentra realizada en ladrillo figurando sobre ella el escudo heráldico de don Fadrique Álvarez de Toledo Osorio, III marqués de Villafranca del Bierzo.