Abstract-Nästa generations datacenter kommer att bestå av tusentals hybridsystem i ett försök att öka den totala klusterprestandan och minimera energiförbrukningen. Nya programmodeller, såsom MapReduce, som är särskilt utformade för att utnyttja mycket stora infrastrukturer kommer att utnyttjas för att utveckla massivt distribuerade tjänster. Samtidigt, datacenter kommer att ge en aldrig tidigare skådad grad av belastning konsolidering, hosting i samma infrastruktur distribuerade tjänster från många olika användare. I detta dokument presenterar vi våra framsteg när det gäller att utnyttja Adaptive MapReduce Scheduler för att uppfylla användardefinierade prestationsmål på hög nivå samtidigt som vi på ett öppet och effektivt sätt utnyttjar hybridsystemens kapacitet. Medan Adaptive Scheduler redan kunde dynamiskt fördela resurser för att samlokaliserade MapReduce jobb baserat på deras slutförande tid mål, var det helt ovetande om specifika hårdvarufunktioner. I vårt arbete beskriver vi de förändringar som införts i Adaptive Scheduler för att möjliggöra det med hårdvarumedvetenhet och med förmågan att samplanera accelerable och icke-accelerable jobb på samma heterogen MapReduce kluster, vilket gör det mesta av de underliggande hybridsystem. Den utvecklade prototypen testas i ett kluster av Cell/BE-blad och bygger på användningen av accelererade och icke-accelererade versioner av MapReduce-uppgifter för olika utplacerade applikationer för att dynamiskt välja den bästa versionen att köra på varje nod. Beslut fattas efter arbetsbördans sammansättning och jobbens mål för färdigställandet. Resultat visar att den utökade Adaptive Scheduler ger dynamisk resursfördelning mellan jobb, hårdvaruaffinitet när det är möjligt, och även kan sprida jobbuppgifter över accelererade och icke-accelererade noder för att uppfylla prestandamål i extrema förhållanden. Till vår kännedom är detta den första MapReduce schemaläggaren och prototypen som kan hantera prestandamål på hög nivå även i närvaro av hybridsystem och accelererbara jobb.
Polo m.fl. REF ändrar MapReduce schemaläggaren så att den kan använda särskild hårdvara som GPU:er för att påskynda MapReduce-jobben i det heterogena MapReduce-klustret.
Performance Management of Accelerated MapReduce Workloads in Heterogeneous Clusters
{'venue': '2010 39th International Conference on Parallel Processing', 'journal': '2010 39th International Conference on Parallel Processing', 'mag_field_of_study': ['Computer Science']}