MapReduce-system har blivit populära för behandling av stora datamängder och används i allt större utsträckning inom e-vetenskap. I motsats till enkla tillämpningsscenarier som ordräkning innebär e-vetenskapstillämpningar komplexa beräkningar som innebär nya utmaningar för MapReduce-system. I synnerhet a) runtime komplexiteten i reduceringsuppgiften är typiskt hög, och b) vetenskapliga data är ofta skev. Detta leder till mycket varierande verkställighetstider för de minskande. Varierande utförandetider resulterar i lågt resursutnyttjande och hög total exekveringstid eftersom nästa MapReduce-cykel endast kan starta när alla reduktionsmedel är klara. I detta dokument tar vi itu med problemet med effektiv behandling av MapReduce jobb med komplexa reduceringsuppgifter över skev data. Vi definierar en ny kostnadsmodell som tar hänsyn till icke-linjära minskningsuppgifter och vi tillhandahåller en algoritm för att uppskatta kostnaden i en distribuerad miljö. Vi föreslår två lastbalanseringsmetoder, fin partitionering och dynamisk fragmentering, som bygger på vår kostnadsmodell och kan hantera både skev data och komplexa minska uppgifter. Fin partitionering ger ett fast antal datapartitioner, dynamisk fragmentering delar dynamiskt upp stora partitioner i mindre delar och replikerar data vid behov. Våra metoder kan integreras sömlöst i befintliga MapReduce-system som Hadoop. Vi utvärderar empiriskt vår lösning på både syntetiska data och verkliga data från en e-vetenskaplig tillämpning.
I likhet med detta dokument anser REF att problemet med superlinjär minskning av implementationer vid sidan av dataskewness, men kräver en användardefinierad kostnadsmodell för att förutsäga den minskade körtiden.
HANDLING DATA SKEW IN MAPREDUCE
{'venue': 'CLOSER', 'journal': None, 'mag_field_of_study': ['Computer Science']}