Abstract-Six av de tio snabbaste superdatorerna i världen 2014 använder en torus sammankopplingsnätverk för meddelande passerar mellan beräkna noder. Torus nätverk ger hög bandbredd länkar till nära grannar och låga latenser över flera humle på nätverket. Stora diametrar av sådana nätverk kräver dock en noggrann placering av parallella uppgifter på beräkningsnoderna för att minimera överbelastningen av nätet. I detta dokument presenteras en metodstudie av optimering av applikationens prestanda på ett femdimensionellt torusnätverk via tekniken för topologi-medveten uppgiftskartläggning. Uppgiftsmappning avser placeringen av processer på beräkna noder samtidigt noggrant överväga nätverket topologi mellan noderna och kommunikationsbeteendet i programmet. Vi fokuserar på IBM Blue Gene/Q-maskinen och två produktionsapplikationera laser-plasma interaktionskod som kallas pF3D och en lattice QCD-applikation som kallas MILC. Optimeringar som presenteras i dokumentet förbättrar kommunikationsprestandan för pF3D med 90 % och för MILC med upp till 47 %. Nyckelord-task kartläggning, 5D torus, prestanda, trängsel Skalan av stora parallella maskiner till förfogande för beräkningsforskare är aldrig tidigare skådad. De fem bästa maskinerna på Top500-listan [1] har över en halv miljon kärnor. Dessa maskiner har komplexa on-node arkitekturer och deras kalkylnoder är sammankopplade av höghastighetsnät. Den snabba ökningen av on-node beräkningskraft i proportion till nätverkshastigheter tyder på att optimera kommunikation är viktigt för att säkerställa hög effektivitet och optimal skalning av parallella applikationer. Uppgiftsmappning är en teknik för att optimera kommunikationen av parallella tillämpningar på sammanlänkningsnätet utan att behöva ändra källkoden [2]. Tekniken placerar uppgifter eller processer på beräkna noder baserat på en noggrann bedömning av sammankoppling topologin mellan noderna och kommunikationsbeteendet i applikationen. Detta är särskilt viktigt på torusnätverk eftersom deras stora diametrar kan kräva meddelanden för att resa flera humle för att nå sin destination, vilket ökar bördan på de delade länkarna. En torus eller mesh nätverk topologi har ofta använts för att ansluta beräkna noder sedan Cray T3D maskinen utvecklades för tjugo år sedan. Sex av de tio snabbaste superdatorerna under 2014 använder en torus nätverk för meddelande passerar mellan beräkna noder. K-datorn använder Tofu-länken som är en sexdimensionell (6D) mesh/torus. IBM Blue Gene/P arkitektur använder en tredimensionell torus och dess efterföljare, IBM Blue Gene/Q, använder en femdimensionell (5D) torus. Flera generationer av Cray maskiner (T3D, T3E, XT3/4/5, XE6, XK7) från 1993 till nu har använt en tredimensionell torus som sin kommunikations ryggrad. I detta dokument fokuserar vi på 5D torus-nätverket som används i IBM Blue Gene/Q (BG/Q) maskinerna. Uppgiftsmappning är ett NP-hård problem [3]. Komplexiteten i att konceptualisera en 5D torus (i motsats till en 3D en) gör det ännu mer utmanande att utveckla nära-optimal kartläggning heuristik. Vi använder Rubik, ett verktyg utvecklat på LLNL för att kartlägga applikationer med strukturerade/kartesiska processnät till godtyckliga n-dimensionella mesh/tori [4]. Vi presenterar en steg-för-steg-metodik för att förbättra applikationsprestandan med topologi-medveten uppgiftsmappning, baserad på vår erfarenhet av att optimera produktionskoder på BG/Q. Det finns tre steg involverade i att förbättra applikationens prestanda med hjälp av topologi-medveten uppgiftsmappning: 1) Prestanda felsökning via profilering, 2) Prestandaoptimering via uppgiftsmappning, och 3) Prestandaanalys via profilering och visualisering. Vi presenterar vår erfarenhet av att tillämpa uppgiftsmappning för att förbättra prestandan hos två mycket skalbara produktionsapplikationer -pF3D, en laser-plasma interaktionskod, och MILC, en lattice kvantkromodynamik (QCD) applikation. Vi tillhandahåller en detaljerad analys av de fall där kartläggning av uppgifter förbättrar applikationens prestanda och orsakerna till prestandafördelarna. Vi jämför förbättringarna med förändringen av det genomsnittliga antalet humle som transporteras med meddelanden och den maximala belastningen/överbelastningen på nätverkslänkarna. Uppgiftsmappning förbättrar kommunikationen prestanda pF3D med 2,8× på 131,072 processer och MILC med 47% på 65,536 processer. En lättkorrigerbar prestanda bugg hittades när profilering pF3D för denna studie ger en ytterligare 3,9× förbättring. Vi tror att den metod som presenteras här kommer att vara användbar för att förbättra prestandan för en bred klass av beräkningsvetenskap och tekniska tillämpningar på torus arkitekturer.
Studien av optimering av applikationsprestanda på ett 5-D torus nätverk via topologi-medveten uppgift karteringsteknik har presenterats i REF.
Optimizing the performance of parallel applications on a 5D torus via task mapping
{'venue': '2014 21st International Conference on High Performance Computing (HiPC)', 'journal': '2014 21st International Conference on High Performance Computing (HiPC)', 'mag_field_of_study': ['Computer Science']}