Abstract-Data streaming har blivit ett viktigt paradigm för realtidsbearbetning av kontinuerliga dataflöden inom områden som finans, telekommunikation, nätverk,. ................................... Vissa tillämpningar inom dessa områden kräver att bearbeta massiva dataflöden som nuvarande teknik inte kan hantera, det vill säga strömmar som, även för en enda frågeoperatör, kräver kapaciteten hos potentiellt många maskiner. Forskningsinsatser om dataströmning har främst fokuserat på skalning av antalet frågor eller frågeoperatörer, men förbisett skalbarhetsfrågan med avseende på strömvolymen. I detta dokument presenterar vi StreamCloud ett storskaligt dataströmningssystem för behandling av stora dataflödesvolymer. Vi fokuserar på hur man kan parallellisera kontinuerliga frågor för att få en mycket skalbar datastreaming infrastruktur. StreamCloud går bortom state of the art genom att använda en ny parallelliseringsteknik som delar frågor i subqueries som tilldelas oberoende uppsättningar av noder på ett sätt som minimerar fördelningen overhead. StreamCloud implementeras som ett mellanprogram och är mycket oberoende av den underliggande dataströmningsmotorn. Vi utforskar och utvärderar olika strategier för att parallellisera dataströmning och ta itu med de viktigaste flaskhalsarna och overheads för att uppnå skalbarhet. I dokumentet presenteras systemets utformning, genomförande och en grundlig utvärdering av skalbarheten hos det fullt genomförda systemet.
StreamCloud REF är ett mellanprogram lager som sitter på toppen av strömmande motorer och fokuserar på hur man parallelliserar kontinuerliga frågor genom att dela upp dem i subqueries och distribuera dem till noder.
StreamCloud: A Large Scale Data Streaming System
{'venue': '2010 IEEE 30th International Conference on Distributed Computing Systems', 'journal': '2010 IEEE 30th International Conference on Distributed Computing Systems', 'mag_field_of_study': ['Computer Science']}