Die ersten Karmeliter kamen um 1270 nach Mainz, das erste richtige Kloster mit Kirche entstand in der ersten Hälfte des 14. Jahrhunderts. Im Zuge der Säkularisation wurde das Kloster 1802 aufgelöst. Über ein Jahrhundert später, 1924, kehrte die Kirche an den seit 1270 in Mainz ansässigen Bettelorden zurück. Dazwischen diente sie als Lagerraum und wurde nur dank des Protestes der Mainzer Bürger vor dem Abriss bewahrt.
Der Bau des heutigen Klosters begann 1963, und seit 1964 leben wieder Mönche im angebauten Kloster, die die Klosterkirche aus dem frühen 14. Jahrhundert aktiv nutzen.
Trotz vieler Veränderungen über die Jahrhunderte ist die Karmeliterkirche weitgehend im Originalzustand erhalten, lediglich die Deckenmalereien sind Kopien. Sehenswert sind unter anderem der Hochaltarschrein aus dem 14. Jahrhundert mit Flachrelief von 1517, die „Weinrebenmadonna“ (um 1400) und die modernen Kirchenfenster von Jan Schoenaker (1970), wobei das mittlere Chorfenster neben dem Mainzer Stadtwappen auch zwei „Mainzelmännchen“ zeigt.
Bei einer großen Innenrenovierung 2009/2010 entstand im mittleren Bereich eine Altarinsel mit einem neuen Holzaltar.
