Peabody instruerede sine trustee'er om at organisere byggeiet af "en egnet brandsikker museumsbygning på land, der skal gives til dette formål, fri for omkostninger eller leje, af Harvard College's Præsident og lærerstab."  Museet åbnede i 1866 sin første udstilling, som bestod af et lille antal forhistoriske artefakter fra Merrimackdalen.