De kerk dateert uit de dertiende eeuw en dankt haar naam aan Saint Germain, de bisschop van Auxerre.
Sommigen noemden haar ook 'Grande Paroisse', omdat ze de hofkapel van het Louvre was. Ze werd gebouwd op de plaats van een Merovingische kerk. In de Bartholomeusnacht van 23 op 24 augustus 1572 gaf de klok van deze kerk het sein voor de massamoord op de protestanten. Hendrik van Navarra (de latere koning Hendrik IV) ontsnapte op het nippertje, maar de aanvoerder van de Hugenoten, admiraal de Coligny werd vlakbij zijn huis in de Rue de Rivoli (nr. 44) vermoord en daarna uit het raam geworpen.
De volgende morgen wandelde Catharina de Medici over het met lijken bezaaide Place du Louvre om in Saint-Germain God te danken voor de dood van zoveel ketters.
Haar zoon Karel IX zou van gewetenswroeging om deze reden gek geworden zijn.
Was ze eerst de kerk van de koningen, dan is ze nu de kerk van de kunstenaars. Elk jaar komen ze hier bidden voor hun collega's die tijdens het volgend jaar zullen sterven. Een aantal kunstenaars ligt hier ook begraven: bijvoorbeeld de architecten Le Vau en Soufflot.
Opvallend is dat de 5 bogen van de voorgevel allemaal verschillend zijn.