Den senaste tidens big data, tillsammans med utmaningarna med dess behandling och lagring, gav upphov till utvecklingen av distribuerade databehandlings- och lagringsparadigm som MapReduce, Spark och NoSQL-databaser. Med tillkomsten av cloud computing, bearbetning och lagring av sådana massiva dataset på kluster av maskiner är nu möjligt med lätthet. Det finns dock begränsade verktyg och metoder, som användarna kan lita på för att mäta och förstå prestandan hos sina big data applikationer som distribueras lokalt på kluster, eller i molnet. Forskare har börjat utforska detta område genom att tillhandahålla benchmarking-sviter som lämpar sig för big data applikationer. Många av dessa verktyg är dock fragmenterade, komplexa att använda och hantera och ger inte insyn i de monetära kostnaderna för benchmarking av en ansökan. I detta dokument presenterar vi Plug And Play Bench (PAPB 1 ): en infrastruktur medveten abstraktion byggd för att integrera och förenkla införandet av big data benchmarking verktyg på kluster av maskiner. PAPB automatiserar den tråkiga processen med att installera, konfigurera och utföra gemensamma big data-riktmärkesarbetsbelastningar genom att behålla verktygen och inställningarna baserade på det underliggande ramverket för spridning av kluster. Vårt proof of concept implementation använder HiBench som referenssvit, HDP som ramverk för klusterdistribution och Azure som molnplattform. Papperet illustrerar också införandet av kostnadsmått baserat på den underliggande Microsoft Azure molnplattform.
Ett liknande datagenereringsbaserat tillvägagångssätt används av Plug och Play Bench REF.
Plug and play bench: Simplifying big data benchmarking using containers
{'venue': '2017 IEEE International Conference on Big Data (Big Data)', 'journal': '2017 IEEE International Conference on Big Data (Big Data)', 'mag_field_of_study': ['Computer Science']}