Está situado frente a la Iglesia de Santa María la Real.
El palacio data del siglo XVI, y a él fue invitada a pasar largas temporadas veraniegas la reina Isabel II de España.
Esto supuso el nacimiento de Zarauz como meca turística del Cantábrico, ya que a la reina secundaron muchos aristócratas y personas de clase alta que comenzaron a pasar los meses de verano allí: el marqués de Narros, Pascual Madoz, la reina María Cristina de Habsburgo-Lorena, el rey Alfonso XIII... y posteriormente la duquesa de Alba, el duque del Infantado, Balduino de Bélgica y su esposa Fabiola, etc.
El escudo que posee la fachada confirma la existencia de un linaje anterior al nacimiento de la villa y en él se puede leer la inscripción «Zarauz antes que Zarauz».
Pese a los cuidados recibidos, la salud del hugonote fue empeorando hasta que una noche falleció, tras negarse a recibir la extremaunción de manos de un cura católico y despotricar largamente contra sus anfitriones, a quienes acusaba de envenenarle.