De eerste Karmelieten kwamen rond 1270 in Mainz aan, het eerste echte klooster met kerk ontstond in de eerste helft van de 14e eeuw. In het kader van de secularisatie werd het klooster in 1802 opgeheven. Meer dan een eeuw later, in 1924, keerde de kerk terug naar de bedelorde die sinds 1270 in Mainz gevestigd was. Tussendoor diende ze als opslagruimte en werd ze alleen dankzij het protest van de Mainzer burgers voor de sloop bewaard.
De bouw van het huidige klooster begon in 1963, en sinds 1964 leven er weer monniken in het aangebouwde klooster, die de kloosterkerk uit het begin van de 14e eeuw actief gebruiken.
Ondanks veel veranderingen door de eeuwen heen is de Karmelietenkerk grotendeels in originele staat bewaard gebleven, alleen de plafonnieringen zijn kopieën. Het is onder andere de moeite waard om het hoofdaltaar van de 14e eeuw met reliëf van 1517, de "Wijnrankenmadonna" (ca. 1400) en de moderne kerkramen van Jan Schoenaker (1970) te bewonderen, waarbij het middelste choreraam naast het stadswapen van Mainz ook twee "Mainzelmännchen" toont.
Tijdens een grote binnenrenovatie in 2009/2010 ontstond in het middelste gedeelte een altaarzone met een nieuw houten altaar.
