Abstract-Hadoop är ett populärt genomförande av MapReduce-ramverket för att köra dataintensiva jobb på kluster av råvaruservrar. Shuffle, den allt-till-alla inmatningsdata hämta fasen mellan kartan och minska fasen kan avsevärt påverka arbetets prestanda. Men shuffle fasen och minska fasen är kopplade tillsammans i Hadoop och shuffle kan endast utföras genom att köra minska uppgifter. Detta lämnar den potentiella parallellismen mellan flera vågor av karta och minska oexploaterad och resursslöseri i multi-tenant Hadoop kluster, vilket avsevärt försenar slutförandet av jobb i en multi-tenant Hadoop kluster. Ännu viktigare är att Hadoop saknar förmåga att planera uppgiften effektivt och minska datadistributionen bland minskade uppgifter, vilket leder till ytterligare försämring av arbetsprestationen. I detta arbete föreslår vi att koppla loss shuffle från minska uppgifter och omvandla det till en plattform tjänst som tillhandahålls av Hadoop. Vi presenterar iShuffle, en användartransparent shuffle-tjänst som proaktivt driver kartutdata till noder via en ny shuffle-on-write-operation och flexibelt scheman minskar uppgifter med tanke på belastningsbalans. Experimentella resultat med representativ arbetsbelastning och Facebook arbetsbelastning spår visar att iShuffle minskar arbetets slutförande med så mycket som 29,6 och 34 procent i en användare respektive flera användare kluster, respektive.
Guo m.fl. REF frikopplar shuffles från att minska uppgifter och omvandla det till en plattform tjänst för att minska arbetet verkställande tid.
iShuffle: Improving Hadoop Performance with Shuffle-on-Write
{'venue': 'IEEE Transactions on Parallel and Distributed Systems', 'journal': 'IEEE Transactions on Parallel and Distributed Systems', 'mag_field_of_study': ['Computer Science']}