Fue construido por la rama de los Golfín que se instaló en la ciudad inmediatamente tras su reconquista.

Con el paso del tiempo sucedió un inmenso mayorazgo integrado por rentas y posesiones enteras.

La segunda fase apunta hacia su regreso a la ciudad.La fachada principal se conforma mediante un cuerpo central de sillería y dos torres laterales.

La cartela con dos flores de lis y dos castillos es la que representa a los Golfines, nombre trastocado del original.

El palacio albergó a los monarcas católicos en las dos veces que visitaron la ciudad.