Abstract-MapReduce är en allmänt använd data-parallell programmeringsmodell för storskalig dataanalys. Ramverket visas vara skalbart till tusen datornoder och pålitligt på råvarukluster. Forskningen har dock visat att det finns utrymme för prestationsförbättringar inom ramen för MapReduce. En av de viktigaste flaskhalsarna beror på all-till-alla-kommunikationen mellan kartare och reducerare, som kan mätta topp-av-rack-omkopplaren och blåsa upp tiden för verkställande av jobb. Minskad gränsöverskridande kommunikation kommer att förbättra arbetsprestationen. I dagens MapReduce-implementering är uppdragsuppgiften baserad på pull-modellen, där det är svårt att styra gränsöverskridande trafik. Däremot ger MapReduce-ramverket större flexibilitet när det gäller att tilldela reduktionsgivare till datornoder. I den här artikeln undersöker vi problemet med reduceringsplacering (RPP), som tar hänsyn till placeringen av reduceringsmedel för att minimera cross-rack trafik. Vi utformar två optimala algoritmer för att lösa RPP och implementera algoritmerna i Hadoop-systemet. Vi föreslår också en analytisk lösning på detta problem. Våra experimentresultat med en uppsättning MapReduce-tillämpningar visar att vår optimering uppnår 9% till 32% prestandaförbättring jämfört med den ooptimerade Hadoop.
Optimering av tvärgående kommunikation genom noggrann reduktionsplacering har föreslagits i REF.
Optimal Algorithms for Cross-Rack Communication Optimization in MapReduce Framework
{'venue': '2011 IEEE 4th International Conference on Cloud Computing', 'journal': '2011 IEEE 4th International Conference on Cloud Computing', 'mag_field_of_study': ['Computer Science']}