Según la Biblia Hebrea, sustituyó al Templo de Salomón o el Primer Templo,[1]​ que fue destruido por el Imperio neobabilónico en el año 586 a. C., cuando Jerusalén fue conquistada y parte de la población del Reino de Judá fue llevada al exilio a Babilonia.

Según la Biblia, el Segundo Templo fue originalmente una estructura bastante modesta construida por varios grupos de exiliados judíos que regresaban al Levante mediterráneo desde Babilonia bajo el gobernador Zorobabel, nombrado por los aqueménidas.

[3]​[4]​ Algunos sacrificios rituales rudimentarios habían continuado en el lugar del primer templo tras su destrucción.

[6]​ Estos acontecimientos representan la sección final del relato histórico de la Biblia hebrea.

[7]​ El libro cuenta cómo Nehemías, en la corte del rey en Susa, es informado de que Jerusalén no tiene muros y decide restaurarlos.

El rey lo nombra gobernador de la provincia Yehud Medinata y viaja a Jerusalén.

Según el relato bíblico, tras el regreso del cautiverio babilónico, se tomaron inmediatamente medidas para reorganizar la desolada provincia de Yehud tras la desaparición del reino de Judá setenta años antes.

Según Esdras 4:5, los samaritanos trataron de «frustrar su propósito» y enviaron mensajeros a Ecbatana y Susa, con el resultado de que la obra se suspendió.

[8]​ Siete años más tarde, Ciro el Grande, que permitió a los judíos regresar a su patria y reconstruir el Templo, murió (2 Crónicas 36:22-23) y fue sucedido por su hijo Cambises II.

La literatura rabínica tradicional afirma que el Segundo Templo estuvo en pie durante 420 años y, basándose en la obra del siglo II Seder Olam Rabbah, sitúa la construcción en el año 350 a. C. (3408 Anno Mundi) [sic], 166 años más tarde que las estimaciones seculares, y la destrucción en el año 70 (3829 a. m.).

[13]​[14]​ El quinto orden, o división, de la Mishná, conocido como Kodashim, proporciona descripciones y discusiones detalladas de las leyes religiosas relacionadas con el servicio del Templo, incluyendo los sacrificios, el Templo y su mobiliario, así como los sacerdotes que llevaban a cabo los deberes y las ceremonias de su servicio.

[19]​ Esto concuerda con el relato del Libro I de los Macabeos.

La arqueología ha demostrado que durante el gobierno de los Jasmoneos se realizaron más cambios en la estructura del Templo y sus alrededores.

Finalmente, Hircano acudió a Aretas III, rey de los nabateos, y regresó con un ejército para recuperar el trono.

El general romano Pompeyo, que estaba en Siria luchando contra los armenios en la tercera guerra mitridática, envió a su lugarteniente a investigar el conflicto en Judea.

[20]​ Cuando el emperador romano Calígula planeó colocar su propia estatua dentro del templo, el nieto de Herodes, Herodes Agripa I, pudo intervenir y persuadirle de que no lo hiciera.

[24]​ Se llegó a un acuerdo entre Herodes y las autoridades religiosas judías: los rituales de sacrificio, llamados korbán (ofrendas), debían continuar sin interrupción durante todo el tiempo de la construcción, y el Templo mismo sería construido por los sacerdotes.

El rey Herodes hizo que arquitectos de Grecia, Roma y Egipto planificaran la construcción.

El tallado final se hacía con piedras más duras para molerlas o cincelarlas y crear juntas precisas.

Las poleas y grúas romanas no eran lo suficientemente fuertes como para levantar los bloques por sí solas, por lo que es posible que utilizaran varias grúas y palancas para colocarlos.

[29]​ Cuando la ladera de la montaña comenzó a elevarse, el lado occidental fue tallado hasta formar una pared vertical y se tallaron ladrillos para crear una continuación virtual de la cara de ladrillos, que se continuó durante un tiempo hasta que la ladera norte alcanzó el nivel del suelo.

La leyenda dice que la construcción de todo el complejo duró tres años, pero fuentes escritas como las de Josefo dicen que tardó mucho más, aunque el Templo en sí puede haber tardado únicamente ese tiempo.

[32]​[33]​ El Pórtico Real es ampliamente aceptado como parte del trabajo de Herodes; sin embargo, hallazgos arqueológicos recientes en los túneles del Muro Occidental sugieren que fue construido en el siglo I durante el reinado de Herodes Agripa I, a diferencia del siglo I a. C.[34]​ Los relatos de la Tentación de Jesús en los evangelios de Mateo y Lucas sugieren que el Segundo Templo tenía uno o más «pináculos»: La palabra griega utilizada es πτερυγιον (pterugion), que significa literalmente torre, rampa o pináculo.

Algunas piezas del Soreg (balaustrada) han llegado hasta nuestros días.

Incluso un sacerdote ritualmente impuro podía entrar para realizar diversas tareas domésticas.

En este, el más grande de los atrios del templo, se podían ver constantes danzas, cantos y música.

A continuación, cambiaban parte de su dinero de la moneda profana estándar griega y romana por dinero judío y tirio, estos dos últimos considerados religiosos.

y estaba grabada con caracteres unciales griegos, que Charles Simon Clermont-Ganneau identificó como la Inscripción de Advertencia del Templo.

Debajo de la última línea hay una tira ancha sin escribir.

[57]​ En recientes excavaciones arqueológicas se han encontrado numerosos mikves (baños rituales) para la purificación ritual de los fieles, y una gran escalera que conducía a una de las entradas ahora bloqueadas.