Detta arbete tar upp behovet av stateful dataflow-program som snabbt kan sålla igenom enorma, föränderliga datamängder. Dessa dataintensiva applikationer utför komplexa multistegsberäkningar över på varandra följande generationer av datainflöden, såsom veckovisa webbcrawls, dagliga bild-/videouppladdningar, loggfiler och växande sociala nätverk. Programmerare kan helt enkelt köra om hela dataflödet när nya data anländer, detta är grovt ineffektivt, ökande resultat latens och slösa hårdvaruresurser och energi. Alternativt kan programmerare använda tidigare resultat för att stegvis införliva förändringarna. Nuvarande storskaliga databehandlingsverktyg, såsom Map-Reduce eller Dryad, begränsar dock hur programmerare införlivar och använder tillstånd i dataparallellprogram. Rakt fram tillvägagångssätt för att införliva tillstånd kan resultera i sedvana, bräcklig kod och nedslående prestanda. Detta arbete presenterar en generaliserad arkitektur för kontinuerlig bulkbearbetning (CBP) som höjer graden av abstraktion för att bygga inkrementella applikationer. Kärnan är en flexibel, gruppvis bearbetningsoperatör som tar stat som en explicit insats. Enande stateful programmering med en data-parallell operatör ger flera grundläggande möjligheter att minimera flödet av data i det underliggande bearbetningssystemet. Som fallstudier visar vi hur man kan använda en liten uppsättning flexibla dataflödesprimära för att utföra webbanalys och minera storskaliga, evolverande grafer på ett inkrementellt sätt. Experiment med vår prototyp med hjälp av verkliga data indikerar betydande datarörelser och tidsminskningar i förhållande till nuvarande praxis. Till exempel, inkrementellt computing PageRank med CBP kan minska datarörelser med 46% och minska körtiden på mitten.
Stateful Bulk Processing REF tillgodoser behovet av stateful dataflow-program.
Stateful bulk processing for incremental analytics
{'venue': "SoCC '10", 'journal': None, 'mag_field_of_study': ['Computer Science']}