Se sabe que muchos pueblos que vivían en el actual Brasil y/o en el Escudo de las Guayanas se dirigieron hacia los Andes para poder escapar de las enormes inundaciones producidas en ese entonces.
Es a este mismísimo templo, durante la invasión, fue donde huyó el emperador Inca Manco tras ser derrotado por los españoles en la ciudad de Cusco.
Este edificio tenía como finalidad ser destinado a tener una estructura extraordinaria, original, es decir, sin nada comparable en ningún otro lugar pero que no logró ser así porque nunca fue el resultado de un diseño único, sino que fue trabajo de varias generaciones de arquitectos que se hicieron cargo de la obra lo que ocasionó que los muros alrededor del Templo tengan un acabado rudimentario construidos con bloques reciclados de otros edificios con grandes espacios entre ellos rellenados con piedras sin cantear.
La roca se talló parcialmente en las canteras, y llevadas hacia el fondo del valle.
Más aún, las piedras fueron bajadas de una montaña, acarreadas a la siguiente y subidas luego, al sitio donde el templo se erigió con un plano inclinado que es algo así como un camino cuya silueta dicen se ve claramente en la parte inferior del valle.