In 1880 richtte de stadsarchitect van Mainz, Eduard Kreyßig, een nieuwe Joodse begraafplaats aan de Unteren Zahlbacher Straße naast de hoofd begraafplaats van Mainz in. Hiermee werd het gebruik van de oude begraafplaats Judensand aan de Mombacher Straße beëindigd. Bij de ingang herinnert sinds 1948 een gedenkplaat met de inscriptie: "Ter nagedachtenis aan onze slachtoffers. Tot schande van de moordenaars. Tot waarschuwing voor de levenden." De graven bleven tijdens het nazi-regime en de oorlogstijd ongeschonden, en tot op de dag van vandaag worden hier leden van de Joodse gemeente begraven.
De begraafplaats is niet openbaar toegankelijk.
