Abstract-Den ökande komplexiteten och omfattningen av distribuerade system har resulterat i manifestation av framväxande beteende som väsentligt påverkar övergripande systemprestanda. En betydande framväxande egendom är "Long Tail", varigenom en liten del av uppgiften stragglers avsevärt påverkar utförandet av jobb gånger. För att mildra sådant beteende, strypa uppgifter som sker inom systemet måste exakt identifieras i tid. De nuvarande strategierna är dock inriktade på begränsning snarare än identifiering, som vanligtvis identifierar stagglers för sent under utförandets livscykel. Detta papper presenterar en metod och verktyg för att identifiera Long Tail beteende inom distribuerade system i tid, genom en kombination av online-och offlineanalys. Detta uppnås genom historisk analys för att profilera och modellera utförandemönster för uppgifter, som sedan informerar online-analytiska agenter som övervakar arbetets utförande i körtid. Dessutom ger vi en empirisk analys av två storskaliga produktions Cloud datacenter som visar utmaningen av data skew inom moderna distribuerade system; denna analys visar att cirka 5% av uppgift stragglers orsakas av data skew påverkar 50% av de totala jobben för batch processer. Våra resultat visar att vår strategi är kapabel att identifiera uppgiftsstaggar mindre än 11% i sin livscykel med 98% noggrannhet, vilket innebär betydande förbättringar jämfört med nuvarande toppmoderna praxis och möjliggör mycket effektivare begränsningsstrategier i storskaliga distribuerade system över hela världen.
Fenomenet långsvans har undersökts i arbetet med REF och det har visats att förekomsten av mindre proportioner av långa svansar kan avsevärt påverka slutförandet av uppgifterna.
Timely Long Tail Identification through Agent Based Monitoring and Analytics
{'venue': '2015 IEEE 18th International Symposium on Real-Time Distributed Computing', 'journal': '2015 IEEE 18th International Symposium on Real-Time Distributed Computing', 'mag_field_of_study': ['Computer Science']}