[1]​ Alfonso (o Alonso) Pérez de Vivero (1394 y 1453), contador mayor del rey Juan II mandó construir en Valladolid este palacio como sus casas principales.

En diciembre de 1452 fundó mayorazgo y en su texto describe todos sus bienes entre los que se encuentra el dicho palacio:

Su hijo Juan Pérez de Vivero (1439-1487) heredó el mayorazgo con sus casas.

Los Reyes Católicos se apropiaron del edificio en 1475 e instalaron allí la Chancillería.

El proyecto se encargó al arquitecto Francisco de Salamanca, que diseñó un edificio sencillo con columnas dóricas en torno a un patio central.

En el patio hay una puerta renacentista con elementos goticistas que da acceso a la escalera palacial de dos tramos que conduce a la planta noble en el piso de arriba.

Sobre la puerta hay un amplio balcón y encima se ve el escudo de la monarquía.

Más arriba la cornisa hace un quiebro en triángulo que señala el centro del edificio.

[8]​ En época del emperador Carlos hubo modificaciones cuyas obras realizó el arquitecto Luis de Vega.

Existía una torre en el ángulo de la fachada con vuelta a la huerta.

Se sabe cómo era por un dibujo del siglo XVIII realizado por Ventura Pérez.

También en el siglo XVI se construyó una galería adosada a la fachada con arcos de medio punto y columnas toscanas.