También aquí fue donde Manco Cápac construyó su primer palacio o residencia.

A la muerte de Paullu, quedaron viviendo en el palacio doña Catalina Tocto Ussica, su viuda, y su hijo legítimo don Carlos Inca.

En el gran salón, que había sobrevivido a las pasadas contiendas bélicas, todavía en la década de 1560 servía de plaza para los días lluviosos, en que festejaban y solemnizaban los indios sus fiestas.

Recibía a muchos dignatarios que visitaban el Cuzco, ofrecía hospitalidad a vecinos españoles y mestizos, manteniendo además la capilla de San Cristóbal.

El virrey Enríquez devolvió el palacio al hijo y heredero de Carlos Inca, don Melchor Carlos Inca, quien lo poseyó hasta su alejamiento del país.