Abstract-The MapReduce programmeringsmodell, på grund av dess enkelhet och skalbarhet, har blivit ett viktigt verktyg för att bearbeta stora datavolymer i distribuerade miljöer. Nya Stream Processing Systems (SPS) utökar denna modell för att ge låg latency analys av hög hastighet kontinuerliga dataströmmar. Men att integrera MapReduce med streaming innebär utmaningar: för det första, variationerna i dataegenskaper som data-hastigheter och nyckeldistribution orsakar resursöverbelastning, vilket leder till fluktuationer i tjänstens kvalitet (QoS), och för det andra, de stateful reduktioners, vars tillstånd beror på den fullständiga tuple historia, kräver effektiva fel-återvinningsmekanismer för att upprätthålla den önskade QoS i närvaro av resursfel. Vi föreslår en integrerad streaming MapReduce arkitektur utnyttjar konceptet med konsekvent hash för att stödja runtime elasticitet tillsammans med lokala-medvetna data och tillstånd replikering för att ge effektiv belastningsbalans med låg överhead feltolerans och parallell felåterhämtning från flera samtidiga fel. Vår utvärdering på ett privat moln visar upp till 2,8× förbättring i topp genomströmning jämfört med Apache Storm SPS, och en låg återhämtning latens på 700 - 1500 ms från flera fel. Nyligen har Big Data applikationer för behandling av hög hastighet data och ger snabba resultat - i storleksordningen sekunder eller millisekunder - blir allt viktigare. Dessa tillämpningar, såsom upptäckt av bedrägerier med hjälp av finansiell verksamhet i realtid [4], [5], trendanalys och modellering av sociala nätverk [6], och online händelsebehandling för att upptäcka avvikelser i komplexa system, fungerar på en stor och diversifierad pool av strömmande datakällor. Till följd av detta har distribuerade Stream Processing Systems (SPS) [7] utvecklats för att skalas med dataflöden med hög hastighet genom att utnyttja dataparallalism och distribuerad bearbetning. De gör det möjligt för applikationer att bestå av kontinuerliga operatörer, kallade Processing Elements (PE), som utför specifika operationer på varje inkommande tupler från ingångsströmmarna och producerar tupler på utgångsströmmarna som ska förbrukas av efterföljande PE i applikationen. Den stateful Streaming MapReduce (SMR) [8] kombinerar enkelheten och förtrogenheten i MR-mönstret med den icke-blockerande, kontinuerliga modellen av SPS. SMR består av kartare och reducerare anslutna med hjälp av dataflöde kanter med en nyckelbaserad routing så att tuples med en specifik nyckel alltid dirigeras till och behandlas av samma reducer instans.
Kumbhare m.fl. REF överväga den totala CPU-användning för fluktuerande dataström och utnyttja konceptet konsekvent hashing för att stödja körtid elasticitet.
Fault-Tolerant and Elastic Streaming MapReduce with Decentralized Coordination
{'venue': '2015 IEEE 35th International Conference on Distributed Computing Systems', 'journal': '2015 IEEE 35th International Conference on Distributed Computing Systems', 'mag_field_of_study': ['Computer Science']}