Den senaste utvecklingen på storskaliga distribuerade maskininlärning applikationer, t.ex., djupa neurala nätverk, drar enorm nytta av framstegen i distribuerade icke-konvexa optimeringstekniker, t.ex. distribuerade Stochastic Gradient Descent (SGD). I en serie nya verk studeras den linjära speedup egenskapen hos distribuerade SGD-varianter med reducerad kommunikation. Den linjära speedup egenskapen gör det möjligt för oss att skala ut datorkapaciteten genom att lägga till fler datornoder i vårt system. Den minskade kommunikations komplexiteten är önskvärd eftersom kommunikation overhead ofta är prestanda flaskhals i distribuerade system. På senare tid har momentummetoder i allt större utsträckning använts i träningsmodeller för maskininlärning och kan ofta konvergera snabbare och generalisera bättre. Till exempel, många utövare använder distribuerad SGD med momentum för att träna djupa neurala nätverk med stora data. Det är dock fortfarande oklart om något distribuerat momentum SGD har samma linjära speedup egenskap som distribuerade SGD och har minskat kommunikations komplexiteten. Detta dokument fyller gapet genom att överväga en distribuerad kommunikation effektiv momentum SGD metod och bevisa sin linjära upphastighet egenskap.
Dessutom tillhandahåller REF en tydlig linjär speedup-analys för lokal SGD med fart.
On the Linear Speedup Analysis of Communication Efficient Momentum SGD for Distributed Non-Convex Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}