Empezóse a edificar en 1562 por orden de Hernando Pizarro y su esposa y sobrina Francisca Pizarro Yupanqui, hija de Francisco, que para ello adquirieron dos fincas anejas más.
La obra se terminó en 1580, dos años después del fallecimiento de Hernando Pizarro.
[4] La cornisa se halla jalonada por doce estatuas de granito sobre ménsulas y peanas.
Se encuentra coronado por un inmenso escudo con las armas que Carlos V otorgó a Francisco Pizarro; en él se pueden apreciar motivos alegóricos a la conquista del Perú, así como el pino y los dos osos rampantes de la familia Pizarro.
La puerta principal se abre bajo los soportales y otro escudo del linaje, con un arco escarzano que da paso a un amplio zaguán en el que aún se aprecia la antigua fachada con ventana de arco conopial del capitán Gonzalo Pizarro.
Posee este espacio acceso a las caballerizas, con bóveda de cañón como la bodega, y al patio interior con esbeltas columnas que organiza las dependencias.
Asoma a este patio la logia abalaustrada de la primera planta, sostenida por un amplio arco rebajado.