Traditionella HPC-arkitekturer separerar beräkningsnoder och lagringsnoder, som är sammankopplade med höghastighetslänkar för att uppfylla kraven på dataåtkomst i fleranvändarmiljöer. Kapaciteten hos dessa höghastighetslänkar är dock fortfarande mycket mindre än den sammanlagda bandbredden för alla beräkningsnoder. I dataparallella system som GFS/KartaReduce byggs kluster med råvaruhårdvara och varje nod tar rollerna för både beräkning och lagring, vilket gör det möjligt att beräkna data. Datalokalisering är en betydande fördel med parallella datasystem jämfört med traditionella HPC-system. Bra datalokalisering minskar trafik över växelnät - en av flaskhalsarna i dataintensiva datorer. I den här artikeln undersöker vi datalokaliseringen på djupet. För det första bygger vi en matematisk modell för schemaläggning i MapReduce och analyserar teoretiskt påverkan på datalokaliseringen av konfigurationsfaktorer, såsom antalet noder och uppgifter. För det andra, vi finner standard Hadoop schemaläggning är icke-optimal och föreslå en algoritm som schemalägger flera uppgifter samtidigt snarare än en efter en för att ge optimal datalokalisering. För det tredje genomför vi omfattande experiment för att kvantifiera prestandaförbättringar av våra föreslagna algoritmer, mäta hur olika faktorer påverkar datalokaliseringen och undersöka hur datalokaliteten påverkar arbetsutförandetiden i både enkelkluster och tvärklustermiljöer.
Datalokalisering analyseras teoretiskt i REF som bygger en matematisk modell och härleder förhållandet mellan viktiga systemfaktorer och datalokalisering.
Investigation of Data Locality in MapReduce
{'venue': '2012 12th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (ccgrid 2012)', 'journal': '2012 12th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (ccgrid 2012)', 'mag_field_of_study': ['Computer Science']}