Abstract-Många företag börjar använda Hadoop för avancerad dataanalys över stora datauppsättningar. Medan en traditionell Hadoop kluster utbyggnad antar en homogen kluster, många företagskluster växer gradvis över tiden, och kan ha en mängd olika servrar i klustret. Nodernas heterogenitet utgör ytterligare en utmaning för effektiv kluster- och jobbhantering. På grund av resurs heterogenitet är det ofta oklart vilka resurser som medför ineffektivitet och flaskhalsar, och hur ett sådant Hadoop-kluster ska konfigureras och optimeras. I detta arbete 1, Vi utforskar effektiviteten och prestanda noggrannheten i gränsbaserade prestanda modell för att förutsäga MapReduce jobb slutföra tider i heterogena Hadoop kluster. Vi validerar noggrannheten hos den föreslagna prestandamodellen med hjälp av en mångfald av 13 realistiska applikationer och två olika heterogena kluster. Eftersom en av Hadoop kluster bildas av olika kapacitet VM instanser i Amazon EC2 miljö, vi dessutom utforska och diskutera faktorer som påverkar MapReduce jobbprestanda i molnet. Nyckelord-KartaReduce, heterogena kluster, prestandamodellering, effektivitet. Under de senaste åren har det uppstått flera data-parallel middleware-plattformar som främst är inriktade på storskalig databehandling i molnmiljön, till exempel MapReduce [3] och dess populära open-source Hadoop-implementation. Dessa middleware plattformar ger enkla men kraftfulla och extremt mångsidiga programmeringsmodeller, och kan tillämpas på ett brett spektrum av domäner där storskalig dataanalys utförs. För att bättre hantera molnresurser har det gjorts en rad insatser som syftar till att utveckla prestandamodeller [4] Dessa prestandamodeller används för att förutsäga arbetets slutförande gånger resurser. De används också som grund för resursavsättningsproblemet: och att uppskatta den mängd resurser som krävs för att slutföra ansökningar med givna tidsfrister. En stor brist i de befintliga modellerna är att de inte beaktar den resurs heterogenitet som orsakar felaktiga förutsägelser om heterogena kluster. Vi hävdar att klusterutbyggnaden ökar stegvis över tiden. Det är inte ovanligt att företag börjar med ett första kluster, och sedan gradvis lägga mer beräkna och I/O resurser som antalet användare ökar. Oftare än inte, är det ekonomiskt att lägga till nyare mer kraftfulla servrar snarare än att kasta den gamla hårdvaran. Så problemet är att designa och erbjuda effektiva prestandamodeller som fungerar bra i heterogena miljöer. Prestandamodeller som bygger på omfattande fingranularitetsprofileringstekniker [4], [5] eller komplexa analyser med hjälp av ma-
Zhang m.fl. REF försökte basera distribuerade datorjobb på heterogena maskiner och förutsäga tiden för slutförandet av arbetet baserat på gränsbaserad prestandamodellering.
Performance Modeling of MapReduce Jobs in Heterogeneous Cloud Environments
{'venue': '2013 IEEE Sixth International Conference on Cloud Computing', 'journal': '2013 IEEE Sixth International Conference on Cloud Computing', 'mag_field_of_study': ['Computer Science']}