I detta papper studerar vi flera klasser av stokastiska optimeringsalgoritmer berikade med tung boll momentum. Bland de metoder som studerats är: stokastisk lutning nedstigning, stokastisk Newton, stokastisk proximal punkt och stokastisk dubbel subrymd uppstigning. Detta är första gången momentumvarianter av flera av dessa metoder studeras. Vi väljer att utföra vår analys i en miljö där alla ovanstående metoder är likvärdiga. Vi bevisar globala icke-asymptotiska linjära konvergensnivåer för alla metoder och olika mått på framgång, inklusive primära funktionsvärden, primära iterater (i L2), och dubbla funktionsvärden. Vi visar också att de primära iteraterna konvergerar med en accelererad linjär hastighet i L1 betydelse. Detta är första gången en linjär hastighet visas för stokastisk tung boll metod (dvs stokastisk lutning nedstigning metod med momentum). Under något svagare förhållanden fastställer vi en sublinjär konvergensgrad för Cesaros genomsnitt av primära iterater. Dessutom föreslår vi ett nytt koncept, som vi kallar stokastiskt momentum, som syftar till att minska kostnaderna för att genomföra momentumet. Vi bevisar linjär konvergens av flera stokastiska metoder med stokastisk momentum, och visar att i vissa glesa datasystem och för tillräckligt små momentumparametrar, dessa metoder har bättre övergripande komplexitet än metoder med deterministisk momentum. Slutligen utför vi omfattande numeriska tester på artificiella och verkliga datauppsättningar, inklusive data från genomsnittliga konsensusproblem.
Loizou m.fl. har undersökt konvergensanalys av flera klasser av stokastisk optimeringsalgoritm med momentum i en förenklad miljö med kvadratiska mål och visar att under specifika gleshet förhållanden, dessa metoder har bättre övergripande komplexitet än deterministiska metoder med momentum REF.
Momentum and Stochastic Momentum for Stochastic Gradient, Newton, Proximal Point and Subspace Descent Methods
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}