El templo fue fundado, según la leyenda, primero por Rómulo tras una batalla contra los sabinos ocurrida dentro del Foro.

En el transcurso de esta batalla, los romanos habían sido forzados a retirarse colina arriba en la Vía Sacra, pero en la Puerta Mugonia, Rómulo invocó a Júpiter, ofreciéndole un templo si este paraba el avance de los sabinos, como así ocurrió, pudiendo los romanos reagruparse y vencer finalmente a los sabinos.

Sobre este lugar, Rómulo fundó el templo, probablemente cerca o justo en el exterior de la Puerta.

Después de aquello, construyó un templo (aedes) en el lugar en el que se encontraba el antiguo altar.

Fue en este templo en el que el 8 de noviembre 63 a. C., el senado se reunió a escuchar al cónsul Marco Tulio Cicerón pronunciar su famoso primer discurso contra Catilina.