Asynkrona metoder används ofta i djupinlärning, men har begränsad teoretisk motivering när de tillämpas på icke-konvexa problem. Vi visar att kör stokastisk lutning nedstigning (SGD) på ett asynkront sätt kan ses som att lägga till en momentumliknande term till SGD iterationen. Vårt resultat förutsätter inte konvexitet i den objektiva funktionen, så det är tillämpligt på djupinlärningssystem. Vi observerar att en standard kömodell av asynkroni resulterar i en form av momentum som vanligen används av djupt lärande utövare. Detta skapar en koppling mellan köteori och asynkroni i djupinlärningssystem, vilket kan vara användbart för systembyggare. För konvolutionella neurala nätverk, validerar vi experimentellt att graden av asynkroni direkt korrelerar med momentum, vilket bekräftar vårt huvudsakliga resultat. En viktig konsekvens är att det är viktigt att justera momentumparametern när man överväger olika nivåer av asynkroni. Dessutom föreslår vår teori sätt att motverka asynkronins negativa effekter. Vi ser att en enkel mekanism som att använda negativa algoritmiska momentum kan vara fördelaktigt under hög asynkroni. Eftersom asynkrona metoder har bättre hårdvarueffektivitet kan detta resultat belysas när asynkront utförande är mer effektivt för djupinlärningssystem.
Mitliagkas m.fl. REF noterade att en standard kömodell av asynkroni korrelerar med momentumet, det vill säga asynkronin ger momentum i SGD-uppdateringar.
Asynchrony begets momentum, with an application to deep learning
{'venue': '2016 54th Annual Allerton Conference on Communication, Control, and Computing (Allerton)', 'journal': '2016 54th Annual Allerton Conference on Communication, Control, and Computing (Allerton)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}