Computational science applications driver en efterfrågan på allt kraftfullare lagringssystem. Medan många tekniker finns tillgängliga för att fånga I/O-beteendet hos enskilda applikationskörningar och specifika komponenter i lagringssystemet, förblir kontinuerlig karakterisering av ett produktionssystem en skrämmande utmaning för system med hundratusentals beräkningskärnor och flera petabyte lagring. Som ett resultat av detta är dessa lagringssystem ofta utformade utan en tydlig förståelse av de olika datavetenskapliga arbetsbelastningar de kommer att stödja. I denna studie skisserar vi en metodik för skalbar, kontinuerlig, systemövergripande I/O-karakterisering som kombinerar lagringsenheters instrumentering, statisk filsystemanalys och en ny mekanism för att fånga upp detaljerat beteende på applikationsnivå. Denna metod gör det möjligt för oss att identifiera både systemomfattande trender och tillämpningsspecifika I/O-strategier. Vi demonstrerar effektiviteten av vår metodik genom att utföra en studie på flera nivåer, två månader av Intrepid, ett 557-teraflop IBM Blue Gene/P-system. Under den tiden fångade vi I/O-karakteriseringar på applikationsnivå från 6 481 unika jobb som spänner över 38 vetenskaps- och ingenjörsprojekt. Vi använde resultaten från vår studie för att justera exempelapplikationer, belysa trender som påverkar utformningen av framtida lagringssystem och identifiera möjligheter till förbättring i I/O-karakteriseringsmetodik.
Till exempel presenterade REF analysen av två månaders I/O-spår på applikationsnivå som samlats in från Intrepid, ett 557-teraflop IBM Blue Gene/P-system, med Darshan.
Understanding and Improving Computational Science Storage Access through Continuous Characterization
{'venue': 'TOS', 'journal': None, 'mag_field_of_study': ['Computer Science']}