El museo fue creado por el militar e hijo de banqueros Édouard André y por su esposa Nélie Jacquemart con la finalidad de exhibir la colección privada de arte que habían reunido a lo largo de sus vidas. Donaron su mansión, construida entre 1869 y 1875 por el arquitecto Henri Parent, y su colección, al Instituto de Francia, el cual posteriormente lo abrió al público en 1913.