ABSTRACT Hadoop är den mest populära implementeringsramen för MapReduce-programmeringsmodellen, och den har ett antal prestandakritiska konfigurationsparametrar. Att manuellt ställa in dessa parametrar till sina optimala värden kräver dock inte bara fördjupade kunskaper om Hadoop såväl som själva jobbet, utan kräver också en stor mängd tid och ansträngningar. Man har därför föreslagit automatiska tillvägagångssätt. Deras användning, dock, är fortfarande ganska begränsad på grund av den oacceptabelt långa sökande tid. I detta dokument introducerar vi MapreducE Self-Tuning (MEST), ett ramverk som påskyndar sökprocessen för optimal konfiguration av en given Hadoop-applikation. Vi har utvecklat en ny mekanism genom att integrera modellträdens algoritmer med den genetiska algoritmen. Som sådan minskar MEST avsevärt söktiden genom att ta bort onödig profilering, modellering och söksteg, som är obligatoriska för befintliga tillvägagångssätt. Våra experiment med fem riktmärken, var och en med två indatamängder (DS1 och 2×DS1) visar att MEST förbättrar sökeffektiviteten (SE) genom faktorer på 1,37× och 2,18× i genomsnitt respektive över state-of-the-art metoden.
MEST REF påskyndar sökningsprocessen för optimal konfiguration genom profilering och ackumulativ modellering vid behov.
MEST: A Model-Driven Efficient Searching Approach for MapReduce Self-Tuning
{'venue': 'IEEE Access', 'journal': 'IEEE Access', 'mag_field_of_study': ['Computer Science']}