Asynkrona parallella implementationer av stokastisk lutning (SG) har i stort sett använts för att lösa djupa neurala nätverk och fick många framgångar i praktiken nyligen. Befintliga teorier kan dock inte förklara deras konvergens och speedup egenskaper, främst på grund av icke konvexitet av de flesta djupt lärande formuleringar och asynkron parallell mekanism. För att fylla luckorna i teorin och ge teoretiska stöd, studerar detta papper två asynkrona parallella implementationer av SG: en är över ett datornätverk och den andra är på ett delat minne system. Vi etablerar en ergod konvergenshastighet O(1/ ε K) för båda algoritmerna och bevisar att den linjära upphastigheten är möjlig om antalet arbetare begränsas av K (K är det totala antalet iterationer). Våra resultat generaliserar och förbättrar befintlig analys för konvex minimering.
Nyligen, Lian et al. REF visade att de föreslagna asynkrona parallella algoritmerna i sin inställning kan uppnå en linjär upphastighet om antalet arbetare begränsas av kvadratroten av det totala antalet iterationer.
Asynchronous Parallel Stochastic Gradient for Nonconvex Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}