Abstract-This article tar itu med lönsamhetsproblem i samband med auto-parallellisering av allmänna ändamål distribuerade data stream processing applikationer. Auto-parallellisering innebär att lokalisera regioner i programmets dataflöde diagram som kan replikeras på körtid för att tillämpa data partitionering, för att uppnå skala. För att göra självparallelliseringen effektiv i praktiken måste lönsamhetsfrågan besvaras: Hur många parallella kanaler ger bäst genomströmning? Svaret på denna fråga ändras beroende på arbetsbelastningsdynamiken och resurstillgången i körtid. I denna artikel föreslår vi en elastisk auto-parallellering lösning som dynamiskt kan justera antalet kanaler som används för att uppnå hög genomströmning utan onödigt slöseri med resurser. Viktigast av allt, vår lösning kan hantera partitionerade stateful operatörer via run-time state migration, som är helt transparent för programutvecklare. Vi tillhandahåller en implementering och utvärdering av systemet på en plattform för bearbetning av industriella dataflöden för att validera vår lösning.
Gedik m.fl. REF svarade på frågan om hur många parallella kanaler som ger bäst genomströmning.
Elastic Scaling for Data Stream Processing
{'venue': 'IEEE Transactions on Parallel and Distributed Systems', 'journal': 'IEEE Transactions on Parallel and Distributed Systems', 'mag_field_of_study': ['Computer Science']}