Samlingerne går tilbage til Det Kongelige Kunstkammer, hvis store samling af kunsthåndværk, malerier, etnografiske genstande, våben og oldsager blev grundlagt af Frederik 3. omkring år 1650 og opbevaredes i andet stokværk af det kongelige biblioteks bygning (1. sal i Rigsarkivet i Rigsdagsgården).