Storskalig dataanalys har blivit allt viktigare för många företag. Nyligen har ett nytt distribuerat datorparadigm, som kallas MapReduce, och dess implementering med öppen källkod Hadoop, antagits i stor utsträckning på grund av dess imponerande skalbarhet och flexibilitet att hantera såväl strukturerade som ostrukturerade data. I den här artikeln beskriver vi vårt datalagersystem, Cheetah, byggt ovanpå MapReduce. Cheetah är speciellt utformad för vår online-reklam ansökan för att tillåta olika förenklingar och anpassade optimeringar. Först tar vi en ny titt på datalagerschemat design. I synnerhet definierar vi en virtuell vy på toppen av den gemensamma stjärnan eller snöfling data lager schema. Denna virtuella vy abstraktion tillåter oss inte bara att designa ett SQL-liknande men mycket mer koncist frågespråk, men gör det också lättare att stödja många avancerade frågebehandlingsfunktioner. Därefter beskriver vi en hög med optimeringstekniker som sträcker sig från datakomprimering och åtkomstmetod till multi-query optimering och utnyttja materialiserade vyer. I själva verket kan varje nod med råvaruhårdvara i vårt kluster bearbeta rådata på 1GBytes/s. Slutligen visar vi hur man sömlöst integrerar Cheetah i alla adhoc MapReduce-jobb. Detta gör det möjligt för MapReduce-utvecklare att fullt ut utnyttja kraften i både MapReduce- och datalagerteknik.
Istället för att bygga ett generiskt datalager som Hive gör, Cheetah är utformad för att tillåta olika anpassade funktioner och optimeringar som sträcker sig från schema design och frågespråk REF.
Cheetah: A High Performance, Custom Data Warehouse on Top of MapReduce
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}