Im Jahr 1880 legte der Mainzer Stadtbaumeister Eduard Kreyßig einen neuen jüdischen Friedhof an der Unteren Zahlbacher Straße neben dem Mainzer Hauptfriedhof an. Damit wurde die Nutzung des alten Friedhofs Judensand in der Mombacher Straße beendet. Am Eingang erinnert seit 1948 eine Gedenktafel mit der Inschrift: „Unseren Opfern zum Gedenken. Den Mördern zur Schande. Den Lebenden zur Mahnung.“ Die Gräber blieben während des NS-Regimes und der Kriegszeit unversehrt, und bis heute werden hier Mitglieder der jüdischen Gemeinde beigesetzt.
Der Friedhof ist nicht öffentlich zugänglich.
