La construcción del palacio, atribuido a Juan Gómez de Mora, data de 1623, por iniciativa de don Pedro de Velasco y Bracamonte, mayordomo mayor del rey Felipe IV, a quien dicho rey le encargó la educación y custodia de su hijo ilegítimo Don Juan José de Austria, a quien don Pedro sirvió de ayo, y quien habría de residir en este palacio durante algunos años de su vida.
De marcada línea renacentista, el edificio se compone de vivienda y capilla anexa.
Se alternan en la construcción, los muros de mampostería y sillería, con elementos arquitectónicos muy bien trabajados, destacando especialmente la fachada principal que se encuentra en el interior del recinto, y la portada de la capilla dedicada al apóstol Santiago, cuya figura en traje de peregrino aparece en una hornacina central.
La decoración presenta clara influencia escurialense (estilo inspirado en elementos arquitectónicos de El Escorial, Real Monasterio construido entre 1563 y 1584).
Los escudos del muro que rodea el edificio son los clásicos de los Velasco,[1] pero ovalados y con la cruz de la Orden de Santiago, a la que pertenecieron sus dueños.