Dagens one-pass analytics-applikationer tenderar att vara dataintensiva till sin natur och kräver förmåga att bearbeta stora volymer av data på ett effektivt sätt. MapReduce är en populär programmeringsmodell för behandling av stora datamängder med hjälp av ett kluster av maskiner. Den traditionella MapReduce-modellen är dock inte lämplig för en-pass analys, eftersom den är inriktad på batch bearbetning och kräver att data som ska vara fullt laddad i klustret innan du kör analytiska frågor. I detta dokument undersöks, ur ett systemperspektiv, vilka arkitektoniska förändringar som är nödvändiga för att föra fram fördelarna med MapReduce-modellen till inkrementell enkelpassagensanalys. Våra empiriska och teoretiska analyser av Hadoop-baserade MapReduce-system visar att den allmänt använda sort-sammanfogningen för partitionering och parallell bearbetning utgör ett grundläggande hinder för inkrementell one-pass analys, trots olika optimeringar. För att ta itu med dessa begränsningar föreslår vi en ny plattform för dataanalys som använder hashteknik för att möjliggöra snabb in-minnesbearbetning, och en ny ofta förekommande nyckelbaserad teknik för att utvidga sådan bearbetning till arbetsbelastningar som kräver ett stort nyckel-state utrymme. Utvärdering av vår Hadoop-baserade prototyp med hjälp av verkliga arbetsbelastningar visar att vår nya plattform avsevärt förbättrar utvecklingen av kartuppgifter, gör det möjligt att minska framstegen för att hålla jämna steg med kartutvecklingen, med upp till 3 storleksordningar minskning av interna dataspill, och gör det möjligt att kontinuerligt returnera resultat under arbetet.
Löjtnant m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m för m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. REF föreslog en Hadoop-baserad plattform för att stödja inkrementell onepass dataanalys genom att använda hash-teknik och en frekvent nyckelbaserad teknik.
A platform for scalable one-pass analytics using MapReduce
{'venue': "SIGMOD '11", 'journal': None, 'mag_field_of_study': ['Computer Science']}