Изабела Стюарт е родена в Ню Йорк през 1840 г. Баща  не е направил много пари в търговията. По време на училище, родителите  са я завели в Италия, за да изследват много от нейните културни съкровища. Една от частните художествени колекции, които Изабела е посетила в Милано, има дълбоко влияние върху нея. Тя пише на приятелите си за мечтата си да притежава къща един ден с художествена колекция като тази, която е видяла в Италия. В Париж Изабела става близка приятелка на едно семейство.
Изабела и Джак са били съученици, когато са учили в Париж. Музеите по това време не са били удобни. Изабела отваря музея около пет години след смъртта на Джак. Колкото и голям да е бил музеят, посетителите е трябвало да чакат и да плащат, за да влязат.