Abstract-Big Data applikationer rör sig allt mer från batch-orienterade utförande modeller till stream-baserade modeller som gör det möjligt för dem att extrahera värdefulla insikter nära realtid. För att stödja denna modell, är en viktig del av streaming process pipeline dataintag, dvs. insamling av data från olika källor (sensorer, NoSQL-lager, filsystem, etc.) och deras leverans för bearbetning. Dataintaget måste stödja hög genomströmning, låg latens och måste skalas till ett stort antal både dataproducenter och konsumenter. Eftersom den totala prestandan för hela strömbearbetningsledningen begränsas av intagsfasen, är det viktigt att uppfylla dessa prestationsmål. Men toppmoderna data intagande system som Apache Kafka bygger på statisk ström partitionering och offset-baserad rekordåtkomst, handel prestanda för design enkelhet. I detta dokument föreslår vi KERA, ett ramverk för intagande av data som lindrar begränsningarna i toppmodernt tack vare ett dynamiskt partitioneringssystem och lätt indexering, vilket förbättrar genomströmning, latens och skalbarhet. Experimentella utvärderingar visar att Kera överträffar Kafka upp till 4x för intag genomströmning och upp till 5x för den totala stream processing genomströmning. Dessutom visar de att KERA kan leverera data tillräckligt snabbt för att mätta stordatamotorn som fungerar som konsument.
Marcu et al REF utvecklade KERA, ett ramverk för intagande av data som minskar begränsningarna för Kafka och andra intagningssystem.
KerA: Scalable Data Ingestion for Stream Processing
{'venue': '2018 IEEE 38th International Conference on Distributed Computing Systems (ICDCS)', 'journal': '2018 IEEE 38th International Conference on Distributed Computing Systems (ICDCS)', 'mag_field_of_study': ['Computer Science']}