Fue edificada en el siglo XVI a instancia del matrimonio formado por Diego Gamarra y Leonor de Serón, cuyos escudos adornan la fachada.
Un hijo del matrimonio de Aspito y Sofía, llamado Diego, sucedió a los constructores en la propiedad del inmueble, posteriormente los tratadistas citan como titulares sucesivos a componentes del linaje Salamanca y a los condes de Berberana.
Terminada en 1554, la torre se levanta sobre un paralelogramo flanqueado por cubos macizos cuyos extremos miden 13,85 por 10 metros.
Está esquinada por cuatro bordes macizos y culminada con crestería.
Dedicado a San Martín, tenía en el centro, según se hallaba en la iglesia, su estatua, que fue sustituida por una imagen de la Virgen en dicho Palacio.