Cloud computing baserat på systemvirtualisering, har expanderat sina tjänster till distribuerade dataintensiva plattformar som MapReduce och Hadoop. En sådan distribuerad plattform på moln körs i ett virtuellt kluster bestående av ett antal virtuella maskiner. I det virtuella klustret kan kraven på dataresurser för varje nod variera på grund av datalokalitet och uppgiftsbeteende. Nuvarande molntjänster använder dock en statisk klusterkonfiguration, fixering eller manuell justering av datorkapaciteten för varje virtuell maskin (VM). Den fasta homogena VM-konfigurationen kanske inte anpassar sig till ändrade resursbehov i enskilda noder. I detta dokument föreslår vi en dynamisk virtuell omkonfigureringsteknik för dataintensiv databehandling på moln, kallad Dynamic Resource Reconfiguration (DRR). DRR kan justera datorkapaciteten hos enskilda virtuella maskiner för att maximera utnyttjandet av resurser. Bland flera faktorer som orsakar resursobalans i Hadoop-plattformarna fokuserar detta dokument på datalokalisering. Även om tilldelning av uppgifter på noderna som innehåller deras indata kan förbättra den totala prestandan för ett jobb avsevärt, den fasta datorkapaciteten för varje nod kan inte tillåta sådan locality-medvetet schemaläggning. DRR ökar eller minskar dynamiskt datorkapaciteten hos varje nod för att förbättra schemaläggningen av lokala uppgifter. Vi utvärderar den potentiella prestandaförbättringen av DRR på en 100-node kluster, och dess detaljerade beteende på en liten skala kluster med begränsad nätverksbandbredd. På klustret 100-node kan DRR förbättra genomströmningen av Hadoop-jobb med i genomsnitt 15 % och 41 % på det privata klustret med den begränsade nätverksanslutningen.
Park m.fl. REF introducerade en lokalt medveten dynamisk virtuell omkonfigureringsteknik för virtuella kluster som kör Hadoop-plattformen genom att dynamiskt ändra datorresursen för en virtuell dator för att maximera datalokaliteten för kartuppgifter.
Locality-aware dynamic VM reconfiguration on MapReduce clouds
{'venue': "HPDC '12", 'journal': None, 'mag_field_of_study': ['Computer Science']}