Abstrakt. Vi presenterar en resurs-medveten schemaläggningsteknik för MapReduce flera jobb arbetsbelastningar som syftar till att förbättra resursutnyttjandet över maskiner samtidigt observera slutförande tid mål. Befintliga MapReduce schemaläggare definierar ett statiskt antal slots för att representera kapaciteten hos ett kluster, vilket skapar ett fast antal utförande slots per maskin. Denna abstraktion fungerar för homogen arbetsbelastning, men lyckas inte fånga de olika resursbehoven hos enskilda jobb i fleranvändarmiljöer. Vår teknik utnyttjar jobbprofileringsinformation för att dynamiskt justera antalet slots på varje maskin, samt arbetsbelastning placering över dem, för att maximera resursutnyttjandet av kluster. Dessutom styrs vår teknik av användartillhandahållna mål för färdigställandetid för varje jobb. Källkod för vår prototyp finns på [1].
RAS REF utnyttjar befintlig profileringsinformation för att dynamiskt fastställa antalet lediga platser och deras placering i klustret.
Resource-aware adaptive scheduling for mapreduce clusters
{'venue': 'Middleware', 'journal': None, 'mag_field_of_study': ['Computer Science']}