El sumo sacerdote inca Vila Oma dispuso que se abandone la lucha, pero muchos capitanes decidieron permanecer ahí.

[5]​ La derrota en la fortaleza fue un duro golpe para los sitiados, en especial para el impetuoso Juan Pizarro, quien se sentía culpable de esa perdida por su descuido de no poner españoles y armas hispánicas en custodia de aquellos bastiones incaicos, por lo que exigió dirigir un contraataque pese a que se encontraba herido y debido a las muchas vendas en la cara no podía usar el casco.

[6]​ Hernando Pizarro reagrupa a sus hombres y consulta con el príncipe Páscac Inca un plan para tomar la fortaleza.

[6]​ Según la crónica de Tito Cusi Yupanqui los jefes incas gritaban: "¡A que se van a Castilla!

Dos veces los españoles intentaron tomar la fortaleza y en ambas fueron rechazados ante la desesperada resistencia de los cuzqueños.

Los aliados intentaron mantener el ímpetu del ataque y llegaron hasta la segunda muralla pero la situación se tornó insostenible para los españoles por lo que Gonzalo Pizarro ordena la retirada.

Gonzalo Pizarro intentó continuar la lucha pero fracasó «porque los cristianos aflojaban cada hora más», aún pese a que su aliado Pasac y sus hombres sostenían el combate ante un contraataque inca.

Solo Hernando Pizarro, hombre de temple y coraje, quien no perdió la serenidad pese a que su hermano agonizaba en la ciudad, logró contener la crisis.

Aún mantenían la lucha incansables incaicos rebeldes y yanaconas pro españoles, en los andenes que subían a la fortaleza, al frente de estos se encontraba Pasac Inca.

[4]​ El momento propicio para la retirada del ejército de Vila Oma se escogió con el fin de que sus enemigos poco pudiesen hacer por contenerla, narra Murúa que los incas: [4]​ Manco Inca recibiría a sus partidarios con gran pesar e ira, no aprobó la decisión tomada por Vila Oma[4]​ e Inguill Inca y se lamentó al saber que Cahuide y su escasa tropa habían quedado en Sacsayhuamán.

Inmediatamente dispuso la partida de refuerzos las cuales no obstante no llegarían a tiempo a su destino por entablar combate con las numerosas partidas que los españoles y sus aliados habían concentrado en las salidas de Sacsayhuamán y del Cuzco.

[4]​ Mientras tanto, Cahuide y dos mil fieles que habían quedado con él en Sacsayhuamán se parapetaron en los muros y las torres principales dispuestos a resistir hasta el final en una batalla a muerte que duraría aún varios días más.

Dada la gran disparidad numérica, los españoles y sus yanaconas presionaron con mayor continuidad «embistiendo de golpe a la fortaleza por todas partes».

Desde las torres más altas los incaicos liderados por Cahuide rechazarían varios ataques enemigos y las escaramuzas se prolongarían más de lo previsto por Hernando que no lograría capturar los torreones ni siquiera con las escalas, gran cantidad de yanaconas pagarían con su vida tales intentos.

Por lo que decidió rendir a las tropas de Cahuide por hambre y sed afirmando (según Pedro Pizarro, cronista y testigo de los hechos) que "no se les podía ganar si no era por sed".

Finalmente, suponiendo que los soldados de Cahuide estarían agotados por la sed y el hambre, Hernando lanzó contra los dos torreones a todos sus efectivos.

En tal desesperada situación varios orejones antes de ser capturados prefirieron suicidarse arrojándose desde las paredes más altas del recinto.

[8]​ Con su ejemplo la lucha por el torreón se prolongó, esforzándose a toda costa de impedir la llegada de los enemigos hasta sus posiciones como narraría un pizarrista anónimo: "avisándole que subía algún español por alguna parte, aguijaba a él como un león con la espada en la mano y embrazada la adarga", ni siquiera las heridas recibidas pudieron amenguar su singular arrojo, pues "en este tiempo le dieron dos saetadas e hizo tan poco caso de ellas como si no le tocaran".

Sigue la narración del anónimo almagrista que los capitanes españoles, admirados de tan singular bizarría, le rogaron "que cediese" ofreciéndole toda clase de garantías, mas vieron turbados a Cahuide rechazar furioso, e insultándolos, tales demandas.

Los españoles no dejaron de observar que gracias a los aliados lograron obtener la victoria.