[2]​[3]​ Durante esa época y hasta 1992 el antiguo Palacio Ducal perteneció a la familia Asenjo, donde desarrollaban sus negocios comerciales.

En el cuerpo inferior hay arcos de medio punto por cada lado.

Los fustes son piedra de una sola pieza (las canteras eran propiedad del duque).

En realidad se trató de un semi engaño al rey Felipe III ya que el duque, durante la construcción, solicitó por carta permiso al monarca para poner dos torres en su palacio, a lo que éste accedió.

Cuando más adelante el rey visitó Lerma se enojó al ver que el edificio tenía cuatro torres y pidió explicaciones al duque que le contestó mostrándole la misiva: "dos me corresponden por ser duque y otras dos que Vos me concedisteis".