Det är ABSTRACT. Vi får en förbättrad finit-prov garanti på linjär konvergens av stokastisk lutning nedstigning för jämna och starkt konvexa mål, förbättra från ett kvadratiskt beroende av konditionering (L/μ) 2 (där L är en bunden på jämnhet och μ på den starka konvexitet) till ett linjärt beroende av L/μ. Dessutom visar vi hur omviktningen av provtagningsfördelningen (dvs. Viktprovtagning) är nödvändig för att ytterligare förbättra konvergensen och uppnå ett linjärt beroende av den genomsnittliga jämnheten, vilket dominerar tidigare resultat. Vi diskuterar också vikten av provtagning för SGD mer allmänt och visar hur den kan förbättra konvergensen även i andra scenarier. Våra resultat bygger på en koppling vi gör mellan SGD och den randomiserade Kaczmarz-algoritmen, vilket gör att vi kan överföra idéer mellan de olika organen av litteratur som studerar var och en av de två metoderna. I synnerhet omarbetar vi den randomiserade Kaczmarz algoritmen som ett exempel på SGD, och tillämpar våra resultat för att bevisa dess exponentiella konvergens, men till lösningen av en viktad minst kvadrat problem snarare än den ursprungliga minst kvadrat problem. Vi presenterar sedan en modifierad Kaczmarz-algoritm med delvis partisk provtagning som konvergerar till den ursprungliga minsta kvadratlösningen med samma exponentiella konvergenshastighet.
Needell och El. REF föreslog en icke-uniform provtagning för stokastisk lutning nedstigning och gjorde en anslutning till den randomiserade Kaczmarz algoritmen.
Stochastic Gradient Descent, Weighted Sampling, and the Randomized Kaczmarz algorithm
{'venue': None, 'journal': 'arXiv: Numerical Analysis', 'mag_field_of_study': ['Mathematics', 'Computer Science']}