Abstrakt. Skalbar körning av kontinuerliga frågor över massiva dataströmmar kräver ofta att ingångsströmmar delas i parallella delströmmar över vilka frågeoperatörer utförs parallellt. Automatisk strömdelning är i allmänhet mycket svårt, eftersom den optimala parallelliseringen kan bero på tillämpning semantik. För att möjliggöra programspecifik strömdelning introducerar vi splitstream-funktioner där användaren specificerar icke-procedurell strömpartitionering och replikering. För strömmar med hög volym blir strömdelningen själv en performance flaskhals. En kostnadsmodell införs som uppskattar prestandan för splitstream-funktioner med avseende på throughput och CPU-användning. Vi implementerar parallella splitstream-funktioner och relaterar experimentella resultat till kostnadsmodellernas uppskattningar. Baserat på resultaten, föreslås en splitstream funktion som kallas autosplit, som skalar väl för höga grader av parallellism, och är robust för varierande proportioner av ström partitionering och replikation. Vi visar hur användardefinierad parallellisering med hjälp av autosplit ger avsevärt förbättrad skalbarhet (L = 64) över tidigare publicerade resultat för Linjär Road Benchmark.
Författarna i REF föreslår att strömmarna ska delas upp i en uppsättning delströmmar över vilka frågeoperatörer utförs parallellt.
T.: Scalable Splitting of Massive Data Streams
{'venue': 'In: DASFAA (2010', 'journal': None, 'mag_field_of_study': ['Computer Science']}