MapReduce är en populär programmeringsmodell för att utföra tidskrävande analytiska frågor som en mängd uppgifter på storskaliga datakluster. I miljöer där flera frågor med liknande urval predikerar, gemensamma tabeller, och gå uppgifter anländer samtidigt, kan många möjligheter uppstå för att dela scan och / eller gå med i beräkningar uppgifter. Utföra gemensamma uppgifter bara en gång kan anmärkningsvärt minska den totala verkställighetstiden för en sats av frågor. I denna studie föreslår vi en multiple Query Optimization ram, SharedHive, för att förbättra den övergripande prestandan för Hadoop Hive, en öppen källkod SQL-baserat datalager med MapReduce. SharedHive omvandlar en uppsättning korrelerade HiveQL-frågor till en ny uppsättning infogade frågor som kommer att producera alla nödvändiga utgångar inom en kortare genomförandetid. Det visas experimentellt att SharedHive uppnår betydande minskningar av de totala genomförandetiderna för TPC-H-frågor.
Å andra sidan föreslås ett MQO-ramverk, SharedHive, för att omvandla en uppsättning korrelerade HiveQL till nya optimerade frågeuppsättningar för delning av skannings- och beräkningsuppgifter REF.
Improving the performance of Hadoop Hive by sharing scan and computation tasks
{'venue': 'Journal of Cloud Computing', 'journal': 'Journal of Cloud Computing', 'mag_field_of_study': ['Computer Science']}