Abstract-stor skala distribuerade datorsystem innehåller ofta tusentals distribuerade noder (maskiner). Övervakning av villkoren för dessa noder är viktigt för systemhantering, vilket dock kan vara extremt resurskrävande eftersom detta kräver att man samlar in lokala mätningar av varje enskild nod och ständigt skickar dessa mätningar till en central styrenhet. Samtidigt är det ofta användbart att förutse framtida systemförhållanden för olika ändamål såsom resursplanering/tilldelning och anomali upptäckt, men det är oftast alltför resurskrävande att ha en prognosmodell körs för varje nod, som också kan försumma korrelationer i observerade mätvärden över olika noder. I detta dokument föreslår vi en mekanism för insamling och prognostisering av resursutnyttjandet av maskiner i ett distribuerat datorsystem på ett skalbart sätt. Vi presenterar en algoritm som låter varje lokal nod bestämma när den ska överföra sin senaste mätning till den centrala noden, så att överföringsfrekvensen hålls under ett givet begränsningsvärde. Baserat på de mätningar som erhållits från lokala noder, den centrala noden sammanfattar de mottagna data i ett litet antal kluster. Eftersom uppdelningen av kluster kan förändras över tid, presenterar vi också en metod för att fånga utvecklingen av kluster och deras centroider. Som ett effektivt sätt att minska mängden beräkning, tidsserie prognoser modeller tränas på tidsvarierande centroider i varje kluster, att prognostisera framtida resursutnyttjanden av en grupp av lokala noder. Effektiviteten i vårt föreslagna tillvägagångssätt bekräftas av omfattande experiment med hjälp av flera verkliga datauppsättningar.
Ett annat tillvägagångssätt presenteras i REF, som använder ett tröskelvärde baserat villkor för att bestämma dataöverföringsfrekvensen för varje nod i ett distribuerat system.
Online Collection and Forecasting of Resource Utilization in Large-Scale Distributed Systems
{'venue': '2019 IEEE 39th International Conference on Distributed Computing Systems (ICDCS)', 'journal': '2019 IEEE 39th International Conference on Distributed Computing Systems (ICDCS)', 'mag_field_of_study': ['Computer Science']}