Vi introducerar och analyserar stokastiska optimeringsmetoder där inmatningen till varje uppdatering störs av begränsat buller. Vi visar att detta ramverk utgör grunden för ett enhetligt tillvägagångssätt för att analysera asynkrona implementationer av stokastiska optimeringsalgoritmer, genom att betrakta dem som seriella metoder som fungerar på bullriga ingångar. Med hjälp av vårt perturbed iterate ramverk tillhandahåller vi nya analyser av Hogwild! algoritm och asynkron stokastisk koordinat nedstigning, som är enklare än tidigare analyser, tar bort många antaganden om tidigare modeller, och i vissa fall ger bättre övre gränser för konvergensen. Vi fortsätter att tillämpa vårt ramverk för att utveckla och analysera KroMagnon: en ny, parallell, sparsam stokastisk varians-reducerad gradient (SVRG) algoritm. Vi demonstrerar experimentellt på en 16-kärnig maskin att den sparsamma och parallella versionen av SVRG i vissa fall är mer än fyra storleksordningar snabbare än standarden SVRG algoritm.
Mania m.fl. REF gav analys för flera asynkrona parallella optimeringsalgoritmer, inklusive Hogwild!, asynkron stokastisk koordinatnedstigning och asynkron sparse SVRG.
Perturbed Iterate Analysis for Asynchronous Stochastic Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}