Parallella dataflödessystem är en central del av de flesta analytiska rörledningar för stora data. Den iterativa karaktären hos många analys- och maskininlärningsalgoritmer är dock fortfarande en utmaning för nuvarande system. Medan vissa typer av bulk iterativa algoritmer stöds av nya dataflödesramar, dessa system kan inte utnyttja beräkningsberoenden som finns i många algoritmer, såsom grafalgoritmer. Som ett resultat, dessa algoritmer är ineffektivt exekverade och har lett till specialiserade system baserade på andra paradigm, såsom meddelande passerar eller delat minne. Vi föreslår en metod för att integrera inkrementella iterationer, en form av arbetssätt iterationer, med parallella dataflöden. Efter att ha visat hur man integrerar bulk iterationer i ett dataflödessystem och dess optimizer, presenterar vi en förlängning till programmeringsmodellen för inkrementella iterationer. Förlängningen lindrar bristen på muterbara tillstånd i dataflöden och gör det möjligt att utnyttja de glesa beräkningsberoenden som är inneboende i många iterativa algoritmer. Utvärderingen av ett prototypiskt genomförande visar att dessa aspekter leder till upp till två storleksordningar snabbare i algoritmtid, när de utnyttjas. I våra experiment är det förbättrade dataflödessystemet mycket konkurrenskraftigt med specialiserade system samtidigt som ett transparent och enhetligt dataflödesuttag upprätthålls.
Inkrementella iterationer integrerades i Stratosphere för att stödja iterativa algoritmer med glesa beräkningsberoenden REF.
Spinning Fast Iterative Data Flows
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}