Im Volksmund wird das Gebäude scherzhaft „Fuchsbau“ – in Anlehnung an den damals amtierenden Oberbürgermeister Jockel Fuchs – oder „Beamtengefängnis“ genannt. Es ist zweifellos ein markantes Bauwerk mit einer eigenen, unverwechselbaren Formsprache. Fünf Jahrhunderte lang hatte Mainz kein Rathaus, bis der Stadtrat 1968 das renommierte dänische Architektenbüro Jacobsen und Weitling mit einem Neubau beauftragte. Otto Weitling, einer der Architekten, formulierte 1974 seine Hoffnungen: „Wir glauben, einen Ort hoher Wertigkeit geschaffen zu haben, der öffentliches Interesse und vielleicht auch Diskussion wecken wird. Ein Für und Wider wäre schon ein positives Zeichen, denn ein Haus, über das man nicht redet, ist meist nicht der Rede wert.“ Diese Worte aus der Baudokumentation zur Eröffnung des Rathauses haben bis heute Gültigkeit.
700 Jahre nach dem Bau des ersten Mainzer Rathauses im Mittelalter setzte der Stadtrat nach einem europaweiten Wettbewerb den Neubau auf dem Halleplatz – dem heutigen Jockel-Fuchs-Platz – um. Am 21. Juli 1972 feierten Oberbürgermeister Jockel Fuchs und die Bauleute das Richtfest. Am Silvestertag 1973 wurde das Gebäude offiziell in Betrieb genommen – mit einer Stadtratssitzung. Bereits am nächsten Tag stürmten närrische Garden den Rathausplatz, und in der darauffolgenden Festwoche besuchten rund 50.000 Mainzerinnen und Mainzer ihr neues Rathaus.
Zahlreiche Ehrengäste aus den Partnerstädten, der damalige Ministerpräsident von Rheinland-Pfalz Helmut Kohl, der Wiesbadener Oberbürgermeister Rudi Schmitt und als Höhepunkt Bundespräsident Gustav Heinemann, nahmen an der Eröffnung teil. 600 Mitarbeiterinnen und Mitarbeiter bezogen ihre Büros. Der Architekt Arne Jacobsen konnte die Inbetriebnahme des Gebäudes nicht mehr erleben, da er bereits 1971 verstorben war. 2002, anlässlich seines 100. Geburtstags, erhielt das Rathaus weltweit zahlreiche Anfragen nach Leihmöbeln aus Jacobsens Beständen für Designausstellungen.
