Belastningsbalansering för kluster har undersökts i stor utsträckning, främst med fokus på effektiv användning av globala CPU- och minnesresurser. Tidigare processor- eller minnescentrerade lastbalanseringssystem har dock en betydande minskning av prestandan under I/O-intensiva arbetsbelastningar på grund av obalansen i I/O-belastningen. För att lösa detta problem föreslår vi två enkla men effektiva I/O-medvetna lastbalanseringssystem för två typer av kluster: (1) homogena kluster där noderna är identiska och (2) heterogena kluster, som består av en mängd olika noder med olika prestandaegenskaper i datorkraft, minneskapacitet och diskhastighet. Förutom att tilldela I/O-intensiva sekventiella och parallella jobb till noder med lätta I/O-belastningar, tar de föreslagna systemen klokt nog hänsyn till både CPU- och minnesbelastningsfördelning i systemet. Därför kan våra system upprätthålla en hög prestanda för ett brett spektrum av arbetsbelastningar. Vi utvecklar analytiska modeller för att studera medelavmattningar, uppgiftsankomst och överföringsprocesser i systemnivåer. Med hjälp av en uppsättning riktiga I/O-intensiva parallella applikationer och syntetiska parallella jobb med olika I/O-egenskaper, visar vi att våra föreslagna system konsekvent förbättra prestandan över befintliga icke-I/O-medvetna lastbalanseringssystem, inklusive CPU- och Memory-aware system och en PBS-liknande batch schemaläggare för parallella och sekventiella jobb, för en mängd olika arbetsförhållanden. Viktigt är att denna prestandaförbättring blir mycket mer uttalad när applikationerna är I/O-intensiva. Till exempel ger de föreslagna tillvägagångssätten 23,6-88,0 % prestandaförbättringar för I/Ointensiva applikationer som LU nedbrytning, Sparse Cholesky, Titan, Parallell textsökning och Data Mining. När I/O-belastningen är låg eller välbalanserad kan de föreslagna systemen bibehålla samma prestandanivå som de befintliga icke-I/O-medvetna systemen.
Qin m.fl. I REF föreslås två system för lastbalansering mellan I och O för två typer av kluster, som behandlar schemaläggningsalgoritmen för IO-intensiva tillämpningar.
Dynamic load balancing for I/O-intensive applications on clusters
{'venue': 'TOS', 'journal': None, 'mag_field_of_study': ['Computer Science']}