Museet blev grundlagt den 8. oktober 1866 efter en gave fra George Peabody en rig amerikansk finansmand og filantrop, hvis fødeby var South Danvers (nu Peabody). Peabody forpligtede 150.000 amerikanske dollars, i henhold til trustens betingelser, til at danne stillingen Peabody Professor-kurator, til at købe artifekter, og til at bygge en bygning, der skal huse dens samlinger. Peabody instruerede sine trustee'er om at organisere byggeiet af "en egnet brandsikker museumsbygning på land, der skal gives til dette formål, fri for omkostninger eller leje, af Harvard College's Præsident og lærerstab."  Museet åbnede i 1866 sin første udstilling, som bestod af et lille antal forhistoriske artefakter fra Merrimackdalen. Den længeventede museumsbygning var i 1877 færdig og klar til at blive taget i brug. Bygningen der huser Peabody blev udbygget i 1888 og igen i 1913.