Abstract-Load balans är viktigt för MapReduce att minska arbetets varaktighet, öka parallell effektivitet, etc. Tidigare arbete fokuserar på grovkornig schemaläggning. Denna studie gäller finkornig schemaläggning av MapReduces verksamhet. Varje operation representerar en anrop av Map eller Reduce-funktionen. Schemaläggning MapReduce verksamhet är svårt på grund av mycket skev drift laster, inget stöd för att samla in arbetsbelastning statistik, och hög komplexitet i schemaläggning problem. Så nuvarande genomföranden antar enkla strategier, vilket leder till dålig belastningsbalans. För att ta itu med dessa svårigheter utformar vi en algoritm för att schemalägga verksamheten baserat på nyckelfördelningen av mellanliggande par. Algoritmen innebär ett delprogram för att välja operationer för aktivitetsslots, och vi namnger det problemet Balanserad Subset Sum (BSS). Vi diskuterar egenskaper hos BSS och designar exakta och approximativa algoritmer för det. För att på ett transparent sätt införliva dessa algoritmer i MapReduce utformar vi en kommunikationsmekanism för att samla in statistik, och en pipeline inom Minska uppgifter för att öka resursutnyttjandet. Såvitt vi vet är detta det första arbetet med att schemalägga MapReduce arbetsbelastning på denna finkorniga nivå. Experiment på PUMA [T+12]-riktmärken visar konsekventa resultatförbättringar. Arbetstiden kan minskas med upp till 37 % jämfört med standard MapReduce.
En annan studie Ref syftar till att balansera belastningen i minskningsfasen genom att samla in nyckelfördelningen av mellanliggande par och köra en algoritm som använder dessa data för att ytterligare fatta planeringsbeslut.
Improving the Load Balance of MapReduce Operations based on the Key Distribution of Pairs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}