Många "stora data"-tillämpningar måste handla om data i realtid. För att kunna köra dessa applikationer på allt större skalor krävs parallella plattformar som automatiskt hanterar fel och eftersläntrare. Tyvärr, nuvarande distribuerade stream processing modeller ger fel återvinning på ett dyrt sätt, kräver varm replikering eller långa återhämtningstider, och inte hantera stragglers. Vi föreslår en ny bearbetningsmodell, diskreterade strömmar (D-Streams), som övervinner dessa utmaningar. D-Streams möjliggör en parallell återhämtningsmekanism som förbättrar effektiviteten över traditionella replikerings- och säkerhetskopieringssystem, och tolererar stragglers. Vi visar att de stöder en rik uppsättning operatörer samtidigt uppnå hög per-node genomströmning som liknar en-node system, linjär skalning till 100 noder, subsecond latency, och sub-second felåterställning. Slutligen kan D-Streams enkelt komponeras med batch och interaktiva frågemodeller som MapReduce, vilket möjliggör rika applikationer som kombinerar dessa lägen. Vi implementerar D-Streams i ett system som kallas Spark Streaming.
Zaharia m.fl. REF utvecklar en ny bearbetningsmodell som kallas diskretiserade strömmar (D-Streams).
Discretized streams: fault-tolerant streaming computation at scale
{'venue': "SOSP '13", 'journal': None, 'mag_field_of_study': ['Computer Science']}