I detta dokument fokuserar vi på generella distribuerade Stream Data Processing Systems (DSDPS), som behandlar behandling av obundna strömmar av kontinuerliga data i skala fördelade i realtid eller nära realtid. Ett grundläggande problem i en DSDPS är schemaläggning problem (dvs. att tilldela arbetsbelastning till arbetstagare / maskiner) med målet att minimera genomsnittliga end-to-end tuple behandlingstid. En allmänt använd lösning är att fördela arbetsbelastningen jämnt över maskiner i klustret på ett round-robin sätt, vilket uppenbarligen inte är effektivt på grund av brist på hänsyn till kommunikationsfördröjning. Modellbaserade metoder (t.ex. köteori) fungerar inte heller bra på grund av systemets höga komplexitet. Vi strävar efter att utveckla en ny modellfri metod som kan lära sig att väl kontrollera en DSDPS från sin erfarenhet snarare än exakta och matematiskt lösbara systemmodeller, precis som en människa lär sig en färdighet (såsom matlagning, körning, simning, etc). Särskilt föreslår vi, för första gången, att utnyttja framväxande Deep Enhancement Learning (DRL) för att möjliggöra modellfri kontroll i DSDPSs; och presentera design, genomförande och utvärdering av en ny och mycket effektiv DRL-baserad kontrollram, som minimerar den genomsnittliga end-to-end tuple behandlingstiden genom att gemensamt lära systemmiljön genom att samla in mycket begränsade data om drifttid och fatta beslut under ledning av kraftfulla Deep Neural Networks (DNN). För att validera och utvärdera det föreslagna ramverket implementerade vi det baserat på en allmänt använd DSDPS, Apache Storm, och testade det med tre representativa applikationer: kontinuerliga frågor, loggflöde bearbetning och ordräkning (stream version). Omfattande experimentella resultat visar 1) Jämfört med Storms standardschemaläggare och den toppmoderna modellbaserade metoden minskar det föreslagna ramverket genomsnittlig tuple-bearbetning med 33,5% respektive 14,0% i genomsnitt. 2) Den föreslagna * Accepteras av VLDB 2018 ramverk kan snabbt nå en bra schemaläggning lösning under online lärande, vilket motiverar dess praktiska för online-kontroll i DSDPS.
REF undersöker en modell-fri DRL för att minimera den genomsnittliga end-to-end tuple behandlingstiden.
Model-Free Control for Distributed Stream Data Processing using Deep Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}