Abstract-Medan MapReduce är naturligt utformad för batch och hög genomströmning bearbetning arbetsbelastningar, det finns en ökande efterfrågan på non-batch processer på big data, t.ex. interaktiva jobb, realtidsförfrågningar, och ström beräkningar. Emerging Apache Spark fyller i denna lucka, som kan köras på en etablerad Hadoop kluster och dra nytta av befintliga HDFS. Som ett resultat av detta tillämpas spridningsmodellen för Spark-on-YARN i stor utsträckning av många branschledare. Vi identifierar dock tre viktiga utmaningar för att distribuera Spark on YARN, oflexibel reservationsbaserad resurshantering, inter-task beroende blind schemaläggning och lokala störningar mellan Spark och MapReduce-applikationer. De tre utmaningarna orsakar ineffektivt resursutnyttjande och betydande prestandaförsämring. Vi föreslår och utvecklar en plattformsoberoende resursplanering middleware, iKayak, som syftar till att förbättra resursutnyttjandet och applikationsprestandan i multi-tenant Spark-on-YARN-kluster. iKayak förlitar sig på tre viktiga mekanismer: bokningsmedveten executor placering för att undvika långa väntan på resursreservation, beroende-medveten resursjustering för att utnyttja underutnyttjade resurser som utnyttjas genom att minska uppgifter, och plattformsoberoende lokal-medveten uppgift uppdrag för att samordna lokala konkurrens mellan Spark och MapReduce program. Vi genomför iKayak i YARN. Experimentella resultat på en testbädd visar att iKayak kan uppnå 50 procents prestandaförbättring för Spark-applikationer och 19 procents prestandaförbättring för MapReduce-tillämpningar, jämfört med två populära Spark-on-YARN-utbyggnadsmodeller, dvs YARN-klientmodell och YARN-klustermodell.
Cheng m.fl. REF utvecklar en plattformsoberoende resursplanerings-middleware för att förbättra resursutnyttjandet och applikationsprestandan i multitenant Spark-on-YARN-kluster.
Cross-Platform Resource Scheduling for Spark and MapReduce on YARN
{'venue': 'IEEE Transactions on Computers', 'journal': 'IEEE Transactions on Computers', 'mag_field_of_study': ['Computer Science']}