Internet of Things (IoT) är ett teknikparadigm där miljontals sensorer övervakar och hjälper till att informera eller hantera, fysiska, miljömässiga och mänskliga system i realtid. Den inbyggda slutna kretsen lyhördhet och beslutsfattande av IoT-applikationer gör dem idealiska kandidater för att använda låg latens och skalbara ström bearbetningsplattformar. Distribuerade Stream Processing Systems (DSPS) håller på att bli viktiga komponenter i alla IoT stack, men effektiviteten och prestandan hos moderna DSPS har inte studerats noggrant för IoT dataströmmar och applikationer. Här utvecklar vi en benchmarking svit och prestandamått för att utvärdera DSPS för streaming IoT-applikationer. Riktmärket omfattar 13 gemensamma IoT-uppgifter som klassificeras mellan olika funktionella kategorier och bildar mikro-benchmarks, och två IoT-tillämpningar för statistisk summering och prediktiv analys som utnyttjar olika dataflödeskompositionella funktioner i DSPS. Dessa är kopplade med ström arbetsbelastningar som härrör från verkliga IoT observationer från smarta städer. Vi validerar IoT-riktmärket för den populära Apache Storm DSPS, och presenterar empiriska resultat. eller fitness och sömn spårning och rekommendationer av smarta klockor och hälsoband [29]. IoT stacken för sådana domäner är tätt integrerad för att tjäna specifika behov, men vanligtvis fungerar på en sluten loop observera Orient Decide Act (ODA) cykel, där sensorer kommunicerar tidsserie observationer av (fysiska eller mänskliga) systemet till en central server eller molnet för analys, och den analysdriv rekommendationer som antas på, eller meddelas till, systemet för att förbättra det, som återigen observeras och så vidare. I själva verket är denna slutna krets lyhördhet en av de väsentliga konstruktionsegenskaperna hos IoT-applikationer. Denna low-latency cykel gör det nödvändigt att bearbeta data streaming från sensorer på fina rumsliga och temporala skalor, i realtid, för att härleda åtgärderbar intelligens. I synnerhet denna streaming analys måste göras på massiva skalor (miljoner sensorer, tusentals händelser per sekund) från alla distribuerade sensorer, vilket kräver stora beräkningsresurser. Cloud computing erbjuder en naturlig plattform för skalbar bearbetning av observationer på globalt distribuerade datacenter, och skicka en återkoppling till IoT-systemet vid kanten. Senaste Big Data plattformar som Apache Storm [28] och Spark [30] ger en intuitiv programmering modell för att komponera sådana strömmande program, med en skalbar, låg-latency exekvering motor utformad för råvarukluster och moln. Dessa distribuerade Stream Processing Systems (DSPS) håller på att bli viktiga komponenter i alla IoT stack för att stödja online analys och beslutsfattande för IoT-program. I själva verket, referens IoT-lösningar från molnleverantörer som Amazon AWS 1 och Microsoft Azure 2 inkluderar deras egenutvecklade ström och händelsebehandling motorer som en del av IoT analytics arkitektur. Delade strömbehandlingssystem [12, 13] har undersökts för ett decennium sedan för trådlösa sensornätverk, där gemensamma riktmärken såsom Linear Road [6] föreslås. Men det har inte varit en detaljerad översyn av, eller riktmärken för, distribuerad stream processing för IoT domäner. I synnerhet har effektiviteten och prestandan hos moderna DSPS, som ursprungligen utformades för sociala nätverk och webbtrafik [28], inte studerats noggrant för IoT-dataströmmar och tillämpningar. Vi tar itu med denna lucka i detta dokument. Vi utvecklar en benchmarking svit för DSPS att utvärdera deras effektivitet för streaming IoT-tillämpningar. Den föreslagna arbetsbördan är baserad på gemensamma byggblock uppgifter som observerats i olika IoT domäner för realtid beslutsfattande, och ingångsströmmarna är hämtade från verkliga IoT observationer från smarta städer. Vi lämnar följande bidrag: 1 https://aws.amazon.com/iot/how-it-works/ 2 https://www.microsoft.com/en-in/server-cloud/internet-of-things/overview.aspx
Det finns också riktmärken som specifikt riktar in sig på snabba datatillämpningar, till exempel för sakernas Internet, men vi skjuter upp en studie av ARM64 för sådana Big Data stream processing plattformar till framtida arbete REF.
Benchmarking Distributed Stream Processing Platforms for IoT Applications
{'venue': 'Proceedings of the Technology Conference on Performance Evaluation and Benchmarking (TPCTC), New Delhi, India, 2016, Co-located with VLDB, 2016. Lecture Notes in Computer Science, vol 10080. Springer', 'journal': None, 'mag_field_of_study': ['Computer Science']}