Abstract-Shared-inget miljöer, exemplifierat av system som MapReduce och Hadoop, använder node-lokal lagring för att uppnå hög skalbarhet. Den exponentiella tillväxten i applikationsdatauppsättningar kräver dock allt högre I/O-genomströmning och diskkapacitet. Att bara utrusta enskilda noder i ett Hadoop-kluster med fler diskar är inte skalbart eftersom det ökar pernoden kostnaden, ökar sannolikheten för lagring misslyckande vid noden, och förvärrar nodfel återvinningstider. I detta syfte föreslår vi att en Hadoop rack delas i flera (små) underracks, och konsolidera diskar av en sub-rack s beräkning noder till en separat delad Localized Storage Node (LSN) inom subrack. En sådan delad LSN är lättare att hantera och tillhandahålla, och kan erbjuda en ekonomiskt bättre lösning genom att anställa totalt färre diskar vid LSN än den totala av sub-rack enskilda noder, samtidigt uppnå hög I/O prestanda. I detta dokument ger vi en kvantitativ studie om effekterna av delad lagring i Hadoop-kluster. Vi använder flera typiska Hadoop-applikationer och testar dem på ett medelstort kluster och via simuleringar. Vår utvärdering visar att: (i) den stegvisa arbetsbördan gör det möjligt för vår design att stödja samma antal beräkningsnoder vid en jämförbar eller bättre genomströmning med färre totala diskar än i det node-lokala fallet, vilket ger ett effektivare resursutnyttjande; (ii) effekten av förlorad lokalitet kan mildras genom att bättre tillhandahålla LSN-node-nätverkslänken och antalet diskar i ett LSN; och (iii) konsolideringen av diskar till ett LSN är ett livskraftigt och effektivt alternativ till den externa node-lokala lagringsdesignen. Slutligen visar vi att LSN-baserad design kan leverera upp till 39% prestandaförbättring jämfört med standard Hadoop.
Vår egen Localized Storage Node (LSN) REF föreslår att dela upp en Hadoop kluster rack i flera sub-racks, och konsolidera diskar av en sub-racks beräkna noder till en separat delad LSN.
On the use of shared storage in shared-nothing environments
{'venue': '2013 IEEE International Conference on Big Data', 'journal': '2013 IEEE International Conference on Big Data', 'mag_field_of_study': ['Computer Science']}