Изабела Стюарт е родена в Ню Йорк през 1840 г. Баща  е мечтал музеят на Гарднър да има много пари в търговията. По време на училище, родителите  са я завели в Италия, за да изследват много от нейните културни съкровища. Една от частните художествени колекции, които Изабела е посетила в Милано, е имала дълбоко влияние върху нея. Тя е писала на приятелите си за мечтата си да притежава къща един ден с художествена колекция като тази, която е виждала в Италия. В Париж, Изабела става близка приятелка.
събра пари от приятелите и роднините си. Продаде всичките си земи и къщи. проведе специални музикални изпълнения за пари наблюдаваше процеса на изграждане на музея