Su antecesor fue otro cementerio llamado «El jardín judío», ubicado en el Barrio nuevo de Praga y encontrado recientemente gracias a diversas excavaciones arqueológicas.En cualquier caso, se ha estimado que hay aproximadamente 12 000 tumbas aparentemente visibles, en las cuales descansan más de 100 000 judíos.Otros en cambio lo fechan en la primera mitad del siglo XV, ya que la tumba más antigua pertenece al rabino y poeta Avigdor Kara (1439) y atribuyen su fundación al rey Otakar II de Bohemia.Esto significa que cuando el cementerio se quedó sin espacio y conseguir tierra extra era imposible, más capas de tierra se emplazaron sobre las tumbas existentes, de manera que las tumbas viejas quedaban desplazadas y enterradas bajo las nuevas capas de tierra.Esto explica porqué las tumbas del cementerio están emplazadas tan cerca las unas de las otras.
Miles de tumbas están hacinadas en el antiguo cementerio judío de Praga.
