Stochastic lutning nedstigning (SGD) är en allestädes närvarande algoritm för en mängd olika maskininlärning problem. Forskare och industri har utvecklat flera tekniker för att optimera SGD:s körtidsresultat, inklusive asynkront utförande och minskad precision. Vårt huvudsakliga resultat är en martingale-baserad analys som gör det möjligt för oss att fånga de rika bullermodeller som kan uppstå från sådana tekniker. I synnerhet använder vi vår nya analys på tre sätt: 1) vi härleder konvergensgrader för konvexa fall (HOGWILD!) med avslappnade antaganden om problemets gleshet; (2) vi analyserar asynkrona SGD-algoritmer för icke-konvexa matrisproblem inklusive matriskomplettering; och (3) vi designar och analyserar en asynkron SGD-algoritm, kallad BUCKWILD!, som använder lägre precision aritmetik. Vi visar experimentellt att våra algoritmer fungerar effektivt för en mängd olika problem på modern hårdvara. 2. Utgångspunkten är följande: Vi härleder konvergensresultat för en asynkron SGD-algoritm för ett icke-konvext matriskompletteringsproblem. Vi härleder de första kurserna för asynkron SGD efter det senaste (synkrona) icke-konvexa SGD-arbetet av De Sa et al. [4]............................................................... 3. Vad är det som händer? Vi härleder konvergensgrader i närvaro av kvantiseringsfel såsom de som införs genom aritmetisk fast punkt. Vi validerar våra resultat experimentellt, och visar att BUCKWILD! kan uppnå upphastigheter på upp till 2,3× över HOGWILD!-baserade algoritmer för logistisk regression. Man kan kombinera dessa olika metoder både teoretiskt och empiriskt. Vi börjar med vårt huvudsakliga resultat, som beskriver vårt martingale-baserade tillvägagångssätt och vår modell.
De Sa m.fl. REF föreslog Buckwild! vilket är en lågprecisionsasynkron SGD.
Taming the Wild: A Unified Analysis of Hogwild!-Style Algorithms
{'venue': 'Advances in neural information processing systems', 'journal': 'Advances in neural information processing systems', 'mag_field_of_study': ['Mathematics', 'Computer Science', 'Medicine']}