Abstrakt. MapReduce är ett framväxande programmeringsparadigm för dataparallelltillämpningar. Vi diskuterar gemensamma strategier för att genomföra en MapReduce runtime och föreslå ett optimerat genomförande på toppen av MPI. Vårt genomförande kombinerar omfördelning och minskning och flyttar in dem i nätverket. Detta tillvägagångssätt gynnar särskilt tillämpningar med ett begränsat antal utgångsnycklar i kartfasen. Vi visar också hur förväntade MPI-2.2 och MPI-3 funktioner, såsom MPI Minska lokala och icke-blockerande kollektiva operationer, kan användas för att genomföra och optimera MapReduce med en prestandaförbättring på upp till 25% på 127 kluster noder. Slutligen diskuterar vi ytterligare funktioner som skulle göra det möjligt för MPI att mer effektivt stödja alla MapReduce-tillämpningar.
Hoefler m.fl. REF diskuterar ytterligare hur förväntade MPI-2.2 och MPI-3-funktioner kan optimera Reduction-fasen.
Towards Efficient MapReduce Using MPI
{'venue': 'PVM/MPI', 'journal': None, 'mag_field_of_study': ['Computer Science']}