Analysering av storskaliga data har visat sig vara en viktig aktivitet för många organisationer under de senaste åren. Denna storskaliga dataanalys underlättas av MapReduces programplanerings- och genomförandemodell och dess genomföranden, framför allt Hadoop. Användare av MapReduce har ofta analysuppgifter som är för komplexa för att uttrycka som individuella MapReduce jobb. Istället använder de högkvalitativa frågespråk som Pig, Hive eller Jaql för att uttrycka sina komplexa uppgifter. Sammanställarna av dessa språk översätta frågor till arbetsflöden av MapReduce jobb. Varje jobb i dessa arbetsflöden läser sin indata från det distribuerade filsystem som används av MapReduce-systemet och producerar utdata som lagras i detta distribuerade filsystem och läses som indata av nästa jobb i arbetsflödet. Den nuvarande praxisen är att ta bort dessa mellanliggande resultat från det distribuerade filsystemet i slutet av genomförandet av arbetsflödet. Ett sätt att förbättra prestandan i arbetsflöden för MapReduce-jobb är att behålla dessa mellanliggande resultat och återanvända dem för framtida arbetsflöden som skickas in till systemet. I detta dokument presenterar vi ReStore, ett system som hanterar lagring och återanvändning av sådana mellanliggande resultat. ReStore kan återanvända utdata från hela MapReduce jobb som är en del av ett arbetsflöde, och det kan också skapa ytterligare återanvändningsmöjligheter genom att materialisera och lagra utdata från frågeutförande operatörer som utförs i en MapReduce jobb. Vi har implementerat ReStore som en förlängning till Pig dataflow systemet på toppen av Hadoop, och vi experimentellt visar betydande hastigheter på frågor från PigMix riktmärket.
Återställa REF delar också liknande anda för att hålla de mellanliggande resultaten (antingen utdata från ett MR-jobb eller data som drivs inom ett jobb) till DFS i ett arbetsflöde och återanvända dem i framtiden.
ReStore: Reusing Results of MapReduce Jobs
{'venue': 'Proceedings of the VLDB Endowment (PVLDB), Vol. 5, No. 6, pp. 586-597 (2012)', 'journal': None, 'mag_field_of_study': ['Computer Science']}