Abstract-Många applikationer inom flera områden som telekommunikation, nätsäkerhet, storskaliga sensornätverk, kräver online-behandling av kontinuerliga dataflöden. De producerar mycket höga laster som kräver aggregering bearbetningskapaciteten hos många noder. Nuvarande Stream Processing Motorer skalas inte med ingångsbelastningen på grund av ennode flaskhalsar. Dessutom är de baserade på statiska konfigurationer som leder till antingen under eller överallokering. I detta papper presenterar vi StreamCloud, en skalbar och elastisk stream processmotor för behandling av stora dataflödesvolymer. StreamCloud använder en ny parallelliseringsteknik som delar upp frågor i subqueries som tilldelas oberoende uppsättningar av noder på ett sätt som minimerar fördelningen overhead. Dess elastiska protokoll uppvisar låg påträngande egenskaper, vilket möjliggör effektiv anpassning av resurser till inkommande last. Elasticitet kombineras med dynamisk belastningsbalansering för att minimera de beräkningsresurser som används. I dokumentet presenteras systemets utformning, genomförande och en grundlig utvärdering av skalbarheten och elasticiteten hos det fullt implementerade systemet.
Liknar STREAM, StreamCloud är en stor skalbar elastisk dataströmningssystem för behandling av stora dataströmmar i molnet REF.
StreamCloud: An Elastic and Scalable Data Streaming System
{'venue': 'IEEE Transactions on Parallel and Distributed Systems', 'journal': 'IEEE Transactions on Parallel and Distributed Systems', 'mag_field_of_study': ['Computer Science']}