El lugar que ocupa el edificio ha tenido distintos usos desde la Edad Antigua, conservándose aún unas termas galo-romanas del siglo I (también es conocido con el nombre de termas de Cluny). El nombre se lo debe a haber sido desde el siglo XIII sede del hospicio-residencia de los Abades de Cluny. Fue reformado ampliamente por el abad Jacques d'Amboise (1485-1510).En 1560 fue elegido como palacio de la reina viuda de Francia, María Estuardo, que lo ocupó brevemente.
Durante la Revolución francesa el edificio fue confiscado por la recién nacida República (1793), y en treinta años fue cambiando de...