Abstrakt. Med den ökande komplexiteten och skalan av högpresterande datorsystem (HPC) har variationer i applikationens prestanda blivit en stor utmaning för effektiv och motståndskraftig systemhantering. Applikationsprestandavariationer kan orsakas av resursinnehåll samt problem relaterade till programvara och firmware, och kan leda till för tidig uppsägning av jobb, minskad prestanda och bortkastade plattformsresurser. För att effektivt minska detta problem måste systemadministratörerna upptäcka och identifiera de avvikelser som orsakar variationer i prestanda och vidta förebyggande åtgärder. Diagnostisering av avvikelser är dock ofta en svår uppgift med tanke på den stora mängd bullriga och högdimensionella data som samlas in via en mängd olika systemövervakningsinfrastrukturer. I det här dokumentet presenterar vi ett nytt ramverk som använder maskininlärning för att automatiskt diagnostisera tidigare påträffade prestandaavvikelser i HPC-system. Vårt ramverk utnyttjar resursanvändning och prestanda mot data som samlas in under programkörningar. Vi omvandlar först de insamlade tidsserierna till statistiska funktioner som behåller applikationsegenskaperna för att avsevärt minska de beräknade omkostnaderna för vår teknik. Vi använder sedan maskininlärningsalgoritmer för att lära sig anomaliegenskaper från denna historiska data och för att identifiera de typer av anomalier som observerats när applikationer körs. Vi utvärderar vårt ramverk både på en HPC kluster och på ett offentligt moln, och visar att vår strategi överträffar nuvarande state-of-the-art tekniker för att upptäcka avvikelser, nå en F-poäng över 0.97.
Tuncer m.fl. REF tar itu med frågan om diagnostik av prestandavariationer i HPC-system.
Diagnosing Performance Variations in HPC Applications Using Machine Learning
{'venue': 'ISC', 'journal': None, 'mag_field_of_study': ['Computer Science']}