Sin embargo, la mansión de dos pisos que se levantó en el lugar sí fue habitada por su hermano Gonzalo Pizarro e incluso su hija Francisca Pizarro Yupanqui cuando viajaba junto a su madre, la princesa Inés Huaylas, hacia España para entrevistarse con el Rey en 1551.

Se ubica en el flanco norte de la mencionada plaza, en la esquina noroccidental formada por las calles Chile y García Moreno.

Rompe la homogeneidad de los edificios circundantes al alcanzar durante las sucesivas modificaciones los cuatro pisos.

[4]​ El edificio está coronado por dos torrecillas con ventana en los flancos derecho e izquierdo de la gran terraza del que vendría a ser el quinto piso.

Actualmente, el Palacio de Pizarro, ya como Hotel Plaza Grande, ha sido decorado en su totalidad por la diseñadora Adriana Hoyos; y cuenta con 15 habitaciones, incluida una suite presidencial, tres restaurantes y varios salones de fiesta.