In de volksmond wordt het gebouw schertsend "Vossenhol" genoemd - verwijzend naar de toenmalige burgemeester Jockel Fuchs - of "ambtenarengevangenis". Het is ongetwijfeld een markant gebouw met een eigen, herkenbare vormtaal. Vijf eeuwen lang had Mainz geen stadhuis, totdat de gemeenteraad in 1968 het beroemde Deense architectenbureau Jacobsen en Weitling opdracht gaf voor de nieuwbouw. Otto Weitling, een van de architecten, formuleerde in 1974 zijn hoop: "Wij geloven dat we een plek van hoge waarde hebben gecreëerd, die publiek belang en misschien ook discussie zal oproepen. Een voor- en nadelen debat zou al een positief teken zijn, want een huis waarover je niet praat, is meestal niet het gesprek waard." Deze woorden uit de bouwdocumentatie ter gelegenheid van de opening van het stadhuis zijn tot op de dag van vandaag van toepassing.
700 jaar na de bouw van het eerste Mainzer stadhuis in de middeleeuwen zette de gemeenteraad na een Europese competitie de nieuwe bouw op de Halleplatz – het huidige Jockel-Fuchs-Platz – in gang. Op 21 juli 1972 vierden burgemeester Jockel Fuchs en de bouwers de oplevering. Op oudejaarsdag in 1973 werd het gebouw officieel in gebruik genomen - met een gemeenteraadsvergadering. Al de volgende dag stormden vrolijke groepen het stadhuisplein binnen, en in de daaropvolgende feestweek bezochten ongeveer 50.000 Mainzers hun nieuwe stadhuis.
Talrijke eregasten uit de partnersteden, de toenmalige minister-president van Rijnland-Palts Helmut Kohl, de Wiesbadener burgemeester Rudi Schmitt en als hoogtepunt de Duitse president Gustav Heinemann, namen deel aan de opening. 600 medewerkers betrokken hun kantoren. De architect Arne Jacobsen kon de ingebruikname van het gebouw niet meer meemaken, aangezien hij al in 1971 was overleden. In 2002, ter gelegenheid van zijn 100ste verjaardag, ontving het stadhuis wereldwijd talloze aanvragen voor leenmeubels uit Jacobsens collecties voor designtentoonstellingen.
