Moderna lärande algoritmer använder gradient nedstigning uppdateringar för att träna inferential modeller som bäst förklara data. Skalning dessa metoder till massiva datastorlekar kräver korrekt distribuerad lutning nedstigningsscheman där distribuerade arbetarnoder beräkna partiella gradienter baserat på deras partiella och lokala datamängder, och skicka resultaten till en master nod där alla beräkningar är aggregerade i en fullständig gradient och inlärningsmodellen uppdateras. Men, en stor prestanda flaskhals som uppstår är att några av de arbetare noder kan köra långsamt. Dessa noder alias. Stragglers kan avsevärt sakta ner beräkningen eftersom den långsammaste noden kan diktera den totala beräkningstiden. Vi föreslår ett distribuerat datorsystem, som kallas Batched Coupon's Collector (BCC) för att lindra effekten av stragglers i lutningsmetoder. Vi bevisar att vårt BCC-system är robust till ett nästan optimalt antal slumpmässiga stragglers. Vi visar också empiriskt att vårt föreslagna BCC-system minskar drifttiden med upp till 85,4 % jämfört med Amazon EC2-kluster jämfört med andra straggler begränsningsstrategier. Vi generaliserar också det föreslagna BCC-systemet för att minimera slutförandet av tiden när man implementerar lutningsbaserade algoritmer över heterogena arbetarnoder. 857 2018 IEEE International Parallel and Distribuated Processing Symposium Workshops
Ett distribuerat datorsystem som kallas Batched Coupons Collector för att minska effekten av stragglers i lutningsmetoder föreslås i REF.
Near-Optimal Straggler Mitigation for Distributed Gradient Methods
{'venue': '2018 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW)', 'journal': '2018 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW)', 'mag_field_of_study': ['Mathematics', 'Computer Science']}