Abstract-Big Data analytics har nyligen fått ökande popularitet som ett verktyg för att bearbeta stora mängder data på begäran. Gnista och Flink är två Apache-hosted data analytics ramar som underlättar utvecklingen av flerstegsdata rörledningar med direkt acykliska graf mönster. Att göra det mesta av dessa ramar är utmanande eftersom effektiva utföranden är starkt beroende av komplexa parameterkonfigurationer och en fördjupad förståelse av de underliggande arkitektoniska valen. Även om omfattande forskning har ägnats åt att förbättra och utvärdera resultaten av sådana analysramar, de flesta av dem jämför plattformarna mot Hadoop, som en bas, en ganska orättvis jämförelse med tanke på de fundamentalt olika designprinciperna. Syftet med detta dokument är att skapa viss rättvisa i detta avseende genom att direkt utvärdera Sparks och Flinks resultat. Vårt mål är att identifiera och förklara inverkan av de olika arkitektoniska valen och parameterkonfigurationerna på den upplevda prestandan från början till slut. I detta syfte utvecklar vi en metod för att korrelera parameterinställningarna och operatörernas genomförandeplan med resursanvändningen. Vi använder denna metod för att dissekera prestandan hos Spark och Flink med flera representativa batch och iterativ arbetsbelastning på upp till 100 noder. Vårt viktigaste fynd är att inget av de två ramverken överträffar det andra för alla datatyper, storlekar och jobbmönster. Detta papper utför en fin karakterisering av fallen när varje ram är överlägsen, och vi belyser hur denna prestanda korrelerar till operatörer, resursanvändning och till detaljerna i den interna ramen design.
Marcu m.fl. REF gjorde en omfattande analys av skillnaderna mellan Apache Spark och Apache Flink på iterativ arbetsbelastning.
Spark Versus Flink: Understanding Performance in Big Data Analytics Frameworks
{'venue': '2016 IEEE International Conference on Cluster Computing (CLUSTER)', 'journal': '2016 IEEE International Conference on Cluster Computing (CLUSTER)', 'mag_field_of_study': ['Computer Science']}