Abstract-Job schemaläggning för en MapReduce kluster har varit en aktiv forskningsämne under de senaste åren. Mätspår från den verkliga produktionsmiljön visar dock att arbetsuppgifternas varaktighet inom ett arbete varierar mycket. Den totala tiden för ett arbete, d.v.s. Den så kallade flowtime, ofta dikteras av en eller några långsamt pågående uppgifter inom ett jobb, allmänt kallad "stragglare". Orsaken till stagglers inkluderar uppgifter som körs på delvis / intermittent fel maskiner eller förekomsten av vissa lokaliserade resurs flaskhals(ar) i en MapReduce kluster. För att ta itu med denna online jobb schemaläggning utmaning, antar vi uppgiften kloning strategi och utforma motsvarande schemaläggning algoritmer som syftar till att minimera den viktade summan av jobbflöden i en MapReduce kluster baserat på den kortaste återstående processtid schemaläggaren (SRPT). För att vara mer specifika designar vi först en 2-kompetitiv offlinealgoritm när variansen av uppgiftsduration är försumbar. Vi utökar sedan denna offlinealgoritm för att ge den så kallade SRPTMS+C algoritmen för online-fallet och visar att SRPTMS+C är (1 + ) − hastighet o( 1 2 ) − konkurrenskraftig genom att minska den viktade summan av jobbflöden inom ett kluster. Båda algoritmerna beaktar uttryckligen företrädesbegränsningarna mellan de två faserna inom ramen för MapReduce. Vi visar också via spårdrivna simuleringar att SRPTMS+C avsevärt kan minska den viktade/oviktade summan av arbetsflöden genom att minska den tid som förflutit för små jobb avsevärt. I synnerhet, SRPTMS + C slår Microsoft Mantri systemet med nästan 25% enligt detta mått.
REF antar uppgiften kloning för att påskynda slutförandet av jobb och föreslår en konkurrenskraftig online schemaläggning algoritm för att optimera summan av jobbflöden.
Task-Cloning Algorithms in a MapReduce Cluster with Competitive Performance Bounds
{'venue': '2015 IEEE 35th International Conference on Distributed Computing Systems', 'journal': '2015 IEEE 35th International Conference on Distributed Computing Systems', 'mag_field_of_study': ['Computer Science']}