Djupa neurala nätverk har visat sig uppnå state-of-the-art prestanda i flera maskininlärning uppgifter. Stochastic Gradient Descent (SGD) är den föredragna optimeringsalgoritmen för utbildning av dessa nätverk och asynkron SGD (ASGD) har i stor utsträckning antagits för att påskynda utbildningen av storskaliga djupa nätverk i en distribuerad datormiljö. I praktiken är det dock ganska svårt att ställa in träningshyperparametrar (t.ex. inlärningshastighet) vid användning av ASGD för att uppnå konvergens och linjär upphastighet, eftersom stabiliteten hos optimeringsalgoritmen starkt påverkas av parameteruppdateringarnas asynkrona karaktär. I detta dokument föreslår vi en variant av ASGD-algoritm där inlärningshastigheten moduleras efter gradientens dödhet och ger teoretiska garantier för konvergens av denna algoritm. Experimentell verifiering utförs på allmänt använda referensvärden för bildklassificering: CIFAR10 och Imagenet för att visa den högre effektiviteten hos den föreslagna metoden, jämfört med SSGD (Synchronous SGD) och den konventionella ASGD-algoritmen.
REF föreslog en justering av inlärningshastigheten w.r.t.
Staleness-aware Async-SGD for Distributed Deep Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}