Fue ampliado considerablemente por Carlos V, dotándole de una gran plataforma artillera rectangular a la que debemos la representativa fachada actual del edificio.

Sufrió numerosos avatares a lo largo de su historia.

A principios del siglo XX el edificio se encontraba en ruinas.

En 1968 fue rehabilitado y transformado en Parador Nacional, función que sigue cumpliendo en la actualidad, siendo el único de esta red de hoteles estatales que se ubica en la provincia de Guipúzcoa.

La fachada principal sufrió algunas modificaciones en este momento con objeto de dotarla de mayor monumentalidad, incorporando un escudo y un guardapolvo, a la vez que se eliminaban las rozas de antiguos tejados mediante el cambio de los sillares.