Abstract-Med ständigt ökande datavolymer, stora beräkna kluster som behandlar data på ett distribuerat sätt har blivit allmänt förekommande i industrin. För distribuerade strömbearbetningsplattformar (t.ex. Storm) har frågan om hur arbetsbelastningen ska fördelas till tillgängliga maskiner viktiga konsekvenser för systemets övergripande prestanda. Vi presenterar en arbetsbörda schemaläggning strategi som bygger på en graf partitionering algoritm. Schemaläggaren är program agnostic: den samlar kommunikationen beteende kör program och skapar scheman genom att partitionera den resulterande kommunikationskurvan med METIS graf partitionering programvara. När vi bygger på grafpartitionering algoritmer som har visat sig skala till mycket stora grafer, vår strategi kan hantera topologier med miljontals uppgifter. Medan experimenten i detta dokument antar statiska databelastningar, kan vår strategi också användas i en dynamisk miljö. Vi implementerade vår föreslagna algoritm för Stormströmsbearbetningssystemet och utvärderade det på ett råvarukluster med upp till 80 maskiner. Utvärderingen gjordes på fyra olika användningsfall - tre med hjälp av syntetiska databelastningar och en applikation som behandlar verkliga data. Vi jämförde vår algoritm mot två toppmoderna schemaläggningsimplementationer och visar att vår strategi erbjuder betydande förbättringar när det gäller resursutnyttjande, vilket möjliggör högre genomströmning vid minskad nätbelastning. Vi visar att dessa förbättringar kan uppnås samtidigt som en balanserad arbetsbörda i termer av CPU-användning och bandbreddsförbrukning över hela klustret. Vi fann också att prestandafördelen ökar med budskapsstorleken, vilket ger en viktig insikt för stream-processing metoder baserade på mikro-batching.
Författarna till REF försöker svara på frågan om hur man distribuerar arbetsbelastning till tillgängliga maskiner föreslår en arbetsbörda schemaläggning strategi som bygger på en graf partitionering algoritm.
Workload scheduling in distributed stream processors using graph partitioning
{'venue': '2015 IEEE International Conference on Big Data (Big Data)', 'journal': '2015 IEEE International Conference on Big Data (Big Data)', 'mag_field_of_study': ['Computer Science']}