Abstract-The MapReduce ramverk och dess open source implementation Hadoop har blivit defacto plattform för skalbar analys av stora datamängder under de senaste åren. En av de främsta problemen i Hadoop är hur man minimerar slutförandet längd (dvs makespan) av en uppsättning MapReduce jobb. Den nuvarande Hadoop tillåter endast statisk slot konfiguration, dvs. fasta nummer av kart slots och minska slots under hela livslängden för ett kluster. Men vi fann att en sådan statisk konfiguration kan leda till låga systemresurser användningsområden samt lång avslutningslängd. Motiverade av detta föreslår vi enkla men effektiva system som använder slot förhållandet mellan karta och minska uppgifter som en tonfiskbar knopp för att minska makepan av en viss uppsättning. Genom att utnyttja arbetsbelastningsinformationen från nyligen avslutade jobb fördelar våra system dynamiskt resurser (eller ankomst- och avgångstider) för att kartlägga och minska uppgifter. Vi genomförde de presenterade systemen i Hadoop V0.20.2 och utvärderade dem med representativa MapReduce-riktmärken på Amazon EC2. De experimentella resultaten visar effektiviteten och robustheten i våra system under både enkla arbetsbelastningar och mer komplexa blandade arbetsbelastningar. Index Villkor-KartaReduce jobb, Hadoop schemaläggning, minskad makespan, slot konfiguration [11]. Som ett komplext system konfigureras Hadoop med en stor uppsättning systemparametrar. Samtidigt som det ger flexibilitet att anpassa kluster för olika applikationer, är det en utmaning för användarna att förstå och ställa in optimala värden för dessa parametrar. I detta dokument syftar vi till att utveckla algoritmer för att justera en grundläggande systemparameter med målet att förbättra prestanda (dvs. minska makespan) av en sats av MapReduce jobb. En klassisk Hadoop kluster innehåller en enda master nod och flera slav noder. Huvudnoden kör JobTracker-rutinen som ansvarar för att schemalägga jobb och samordna utförandet av arbetsuppgifterna för varje jobb. Varje slav nod kör TaskTracker-demonen för att vara värd för utförandet av MapReduce jobb. Begreppet "slot" används för att ange kapaciteten att ta emot uppgifter på varje nod. I ett Hadoop-system tilldelas en slot som en kartplats eller en reducerad slot som betjänar kartuppgifter respektive minskar uppgifter. Vid varje given tidpunkt kan endast en uppgift köras per plats. Antalet tillgängliga slots per nod ger verkligen den maximala graden av parallellisering i Hadoop. Våra experiment har visat att slot konfigurationen har en betydande inverkan på systemets prestanda. Hadoop-ramverket använder dock fasta nummer av kartspår och minskar ankomst- och avgångstider vid varje nod som standardinställning under ett klusters hela livstid. Värdena i den här fasta konfigurationen är vanligtvis heuristiska tal utan att beakta jobbegenskaper. Därför är denna statiska inställning inte väl optimerad och kan hindra prestandaförbättring av hela klustret. I detta arbete föreslår och genomför vi en ny mekanism för att dynamiskt fördela ankomst- och avgångstider för att kartlägga och minska uppgifter. Det primära målet med den nya mekanismen är att förbättra slutförandet tid (dvs. makespan) av ett parti MapReduce jobb samtidigt som enkelheten i genomförandet och hanteringen av den slot-baserade Hadoop design. Den viktigaste idén med denna nya mekanism, TuMM, är att automatisera slot tilldelning förhållandet mellan karta och minska uppgifter i ett kluster som en tonfisk knopp för att minska makepan av MapReduce jobb. Workload Monitor (WM) och Slot Assigner (SA) är de två viktigaste komponenterna som infördes av TuMM. Den WM som bor i JobTracker samlar periodiskt in information om exekveringstiden för nyligen avslutade
Även de har uppfunnit ett nytt Tumm-system som hanterar slots för kartan och minska uppgiften i Hadoop REF. Hantera kartan och minska funktioner är det grundläggande steget för den dynamiska fördelningen av slots enligt kraven på data.
Self-Adjusting Slot Configurations for Homogeneous and Heterogeneous Hadoop Clusters
{'venue': 'IEEE Transactions on Cloud Computing', 'journal': 'IEEE Transactions on Cloud Computing', 'mag_field_of_study': ['Computer Science']}