Non-Volatile Memory (NVM) erbjuder byte-adresserbarhet med DRAM-liknande prestanda tillsammans med persistens. NVM ger därför möjlighet att bygga lagringssystem med hög genomströmning för dataintensiva tillämpningar. HDFS (Hadoop Distributed File System) är den primära lagringsmotorn för MapReduce, Spark och HBAse. Även om HDFS ursprungligen utformades för råvaruhårdvara används den i allt högre grad på HPC-kluster (High Performance Computing). De enastående prestandakraven för HPC-system gör I/O-flaskhalsarna i HDFS till en kritisk fråga för att ompröva sin lagringsarkitektur över icke-VM. I detta dokument presenterar vi en ny design för HDFS för att utnyttja bytesadresser för NVM for RDMA (Remote Direct Memory Access)-baserad kommunikation. Vi analyserar prestandapotentialen att använda NVM för HDFS och omdesigna HDFS I/O med minnessemantik för att utnyttja byte-adresser fullt ut. Vi kallar denna design NVFS (NVM- och RDMA-medveten HDFS). Vi presenterar även kostnadseffektiva accelerationstekniker för HBase och Spark att använda NVM-baserad design av HDFS genom att lagra endast HBase Write Ahead Logs och Spark jobbutgångar till NVM, respektive. Vi föreslår också förbättringar för att använda NVFS-designen som en sprängbuffert för att köra Spark-jobb ovanpå parallella filsystem som Lustre. Resultatutvärderingar visar att vår design kan förbättra skriv- och läsgenomströmningen av HDFS med upp till 4x respektive 2x. Tiderna för genomförandet av riktmärken för datagenerering minskas med upp till 45 %. Den föreslagna konstruktionen minskar också den totala genomförandetiden för SWIM-arbetsbördan med upp till 18 % jämfört med HDFS med en maximal fördel på 37 % för jobb-38. För Spark TeraSort ger vårt föreslagna program en resultatvinst på upp till 11 %. Prestandan för HBase insert, update och read operations förbättras med 21%, 16% respektive 26%. Vår NVM-baserade sprängbuffert kan förbättra I/O-prestandan hos Spark PageRank vid upp *
NVFS REF är en optimerad HDFS med NVM och RDMA.
High Performance Design for HDFS with Byte-Addressability of NVM and RDMA
{'venue': "ICS '16", 'journal': None, 'mag_field_of_study': ['Computer Science']}