Abstract-World-omfattande datacenter förbrukar cirka 300 miljarder kWh energi per år, vilket står för 2 % av den totala elanvändningen. Som MapReduce blir det vanliga paradigmet för dataintensiva datorer i datacenter, optimera MapReduce energieffektivitet kan kraftigt minska energibehov och minska energiräkningar. Många studier har försökt förbättra MapReduce energieffektivitet, men få har tagit itu med detta problem från att förstå och minska energieffekterna av datarörelser. Eftersom datarörelser ofta är prestanda- och energiflaskhalsar föreslår vi ett datarörelsecentriskt tillvägagångssätt och presenterar ett analysramverk med metoder och mätvärden för att utvärdera dyra inbyggda kartorMinska datarörelser. Vår experimentella undersökning utnyttjar det finkorniga ramverket för prestanda- och effektprofilering eTune och avslöjar unika energiegenskaper på systemnivå och komponentnivå för datarörelser. Den visar också skalbarheten av energieffektivitet med karta Minska arbetsbelastning och systemparametrar. Dessa energiegenskaper kan utnyttjas vid systemutformning och resursallokering för att förbättra dataintensiv energieffektivitet hos datorer. Index Terms-KartaReduce, Data Movement, Energy-Efficient Computing Kraft och energiförbrukning är bland de viktigaste frågorna i datacenter design och drift. Dagens datacenter förbrukar vanligtvis flera megawatt ström. I hela världen är den totala energiförbrukningen i datacenter cirka 300 miljarder kWh per år, vilket motsvarar 2 % av den totala elförbrukningen [10]. Denna massiva efterfrågan på kraft/energi begränsar inte bara datacentrens överkomlighet och hållbarhet, utan ger också upphov till stora miljöproblem och politiska reaktioner. Att förbättra energieffektiviteten hos datacentertillämpningar kan effektivt ta itu med detta problem, men kräver att vi först förstår kraften och energiegenskaperna hos datacenterarbetsbelastningen för guidad design. I detta dokument fokuserar vi på energieffektivitet i MapReduce-baserade dataintensiva arbetsbelastningar. Särskilt studerar vi kraften, energin och energieffektiviteten i datarörelser i MapReduce [4] applikationer. Detta fokus beror på tre rea söner. För det första förbrukar datarörelser en betydande del av systemenergin i datacenter genom att låta datorservrar vänta på data eller flytta data [1]. För det andra, MapRe-978-1-4799-0623-9/13/$31.00 © 2013 IEEE duce har blivit en stor dator paradigm i datacenter för behandling av storskaliga datamängder, tack vare sin automatiska parallellbehandling och ultra hög skalbarhet. För det tredje, på grund av den tekniska revolutionen i datainsamling och lagring, har datacenter upplevt en fördubbling av datavolymen vartannat år [5]. Effektiv lagring och behandling av massiva data är inte bara ett grundläggande krav utan också en praktisk utmaning för de flesta datacenter. Forskare har försökt flera metoder för att förbättra energieffektiviteten i MapReduce datarörelser. Dessa meth ods inkluderar: minska volymen av data i rörelse med datakompression [3], öka datarörelsehastighet med hjälp av höghastighetsanslutningar [16], [17], tillämpa dynamisk spänning och frekvensskalning (DVFS) för att minska CPU-effektförbrukningen under datarörelser [18], och dela upp datalagring i flera zoner baserat på dataåtkomstmönster för att underlätta olika effekthanteringar Medan de flesta av dessa metoder kan förbättra den totala energieffektiviteten i MapReduce arbetsbelastningar, de ger inte detaljer om effekt och energikrav för inbyggda MapReduce datarörelser. Som visas av effektprofilen för en MapReduce-applikation i figur 1, systemeffekt förändras avsevärt med MapReduce utförandefaser och datarörelser; varje MapReduce datarörelse medför tydlig strömförbrukning. Systemhårdvara och programvarudesign måste känna igen sådana skillnader och använda lämpliga strategier för att uppnå optimal energieffektivitet för varje datarörelse. I detta arbete studerar vi kraft- och energiegenskaper hos datarörelser med hjälp av förstahandsdata som samlats in på en fysisk Hadoop MapReduce compute cluster. Vi beskriver ett analysramverk för att utvärdera energieffektiviteten i MapReduce datarörelser, och karakteriserar kraften och energin i tre huvudtyper av MapReduce datarörelser: HDFS (Hadoop File System) läsa, HDFS skriva, och data shuffle. Dessutom diskuterar vi olika faktorer som påverkar datarörelsernas energieffektivitet. Resten av detta dokument är organiserat enligt följande. Vi presenterar analysramen i avsnitt II. Vi analyserar de totala energiprofilerna för typiska datarörelser i Avsnitt III
De studerade också energiegenskaper i MapReduce datarörelser och föreslog en energieffektiv modell som normalt presenterades som ett förhållande mellan total systemenergi och datastorlek REF.
Power and energy characteristics of MapReduce data movements
{'venue': '2013 International Green Computing Conference Proceedings', 'journal': '2013 International Green Computing Conference Proceedings', 'mag_field_of_study': ['Computer Science']}