En standard tillvägagångssätt i stor skala maskininlärning distribueras stokastisk gradient utbildning, vilket kräver beräkning av aggregerade stokastiska gradienter över flera noder på ett nätverk. Kommunikation är en stor flaskhals i sådana tillämpningar, och under de senaste åren har komprimerade stokastiska gradientmetoder såsom QSGD (kvantiserad SGD) och sparse SGD föreslagits för att minska kommunikationen. Det visades också att felkompensation kan kombineras med kompression för att uppnå bättre konvergens i ett system som varje nod komprimerar sin lokala stokastiska lutning och sänder resultatet till alla andra noder över nätverket i ett enda pass. Ett sådant tillvägagångssätt är dock inte realistiskt i många praktiska genomföranden. Till exempel, under den populära parameter servermodellen för distribuerat lärande, arbetarnoder måste skicka komprimerade lokala gradienter till parameterservern, som utför aggregering. Parameterservern måste komprimera den aggregerade stokastiska lutningen igen innan den skickas tillbaka till arbetarnoder. I detta arbete ger vi en detaljerad analys av denna två-pass kommunikationsmodell och dess asynkrona parallella variant, med felkompenserad kompression både på arbetarnoder och på parameterservern. Vi visar att den felkompenserade stokastiska gradientalgoritmen medger tre mycket trevliga egenskaper: 1) den är kompatibel med en godtycklig kompressionsteknik; 2) den medger en förbättrad konvergenshastighet än de icke felkompenserade stokastiska gradientmetoderna såsom QSGD och sparse SGD; 3) den medger linjär upphastighet med avseende på antalet arbetare. Den empiriska studien genomförs också för att validera våra teoretiska resultat.
DoubleSqueeze-async REF utför komprimeringen på både arbetarsidan och serversidan.
DoubleSqueeze: Parallel Stochastic Gradient Descent with Double-Pass Error-Compensated Compression
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Computer Science']}