
Op deze plaats bevond zich bij het begin van de derde eeuw een wijds Gallo-Romeins gebouw: de openbare baden.
De huidige ruïnes vormen ongeveer 1/3 van het oorspronkelijke bouwwerk. Aan het einde van de derde eeuw werd het gebouw geplunderd en in brand gestoken door de barbaren.
Rond 1330 kocht de abt van Cluny-en-Bourgogne de ruïnes en het omliggend terrein.
Bedoeling was er een huis (hôtel) te bouwen voor de abten die naar Parijs en het college van hun orde kwamen. Het geheel werd tussen 1485 en 1500 aangepast tot het magnifieke gebouw dat we nu kennen.
De Jakobsschelpen die we op het gebouw aantreffen verwijzen naar de bedevaartsweg naar Compostela waarvan ook één van de oudste straten van Parijs, de nabijgelegen Rue Saint-Jacques deel uitmaakt.
De meest interessante bewoonster was Marie d'Angleterre (Mary Tudor, zuster van Hendrik VIII van Engeland), de jonge weduwe van de Louis XII.
Ze was pas drie maanden met hem getrouwd toen hij stierf. Hij was in de vijftig, zij 16. Een achterneef van Louis XII was de troonopvolger (Frans I) en deze had schrik dat de koningin zwanger was. Indien ze immers een zoon ter wereld zou brengen zou hij zijn troon weer moeten afstaan.
Op een avond bracht hij de weduwe onverwacht een bezoek. Hij trof haar aan in het gezelschap van de Engelse hertog van Suffolk. Frans I deed het nu voorkomen alsof die twee een verhouding hadden en dwong hen te huwen, waarna ze naar Engeland terug werden gestuurd.
Uit vrees voor de koning durfden ze niet te weigeren en op die manier was Frans I bevrijd van zijn angst.
Van 1600 tot 1681 was hier de pauselijke nuntiatuur (=ambassade) gevestigd en de meest bekende nuntius die hier woonde is kardinaal Mazarin.
Tijdens de Revolutie werd het gebouw in beslag genomen en verkocht. Er woonde onder andere een chirurg die van de kapel zijn dissectiezaal maakte.
In 1833 kwam de kunstverzamelaar Alexandre du Sommerard met zijn collectie er wonen. Bij diens dood in 1842 kocht de Franse Staat het gebouw en de verzameling. Het museum opende in 1844. De tuinen werden opengesteld in 1971. In het museum ziet u een collectie kunst van de Romeinse periode tot de Middeleeuwen (o.a. de Eenhoorn wandtapijten).