Stochastic lutning nedstigning (SGD), som går tillbaka till 1950-talet, är en av de mest populära och effektiva metoder för att utföra stokastisk optimering. Forskning om SGD återuppstod nyligen i maskininlärning för att optimera konvexa förlustfunktioner samt utbildning nonconvex djupa neurala nätverk. Teorin utgår från att man lätt kan beräkna en objektiv gradientskattning, vilket vanligtvis är fallet på grund av provens genomsnittliga karaktär av empirisk riskminimering. Det finns dock många scenarier (t.ex. grafinlärning) där en opartisk estimator kan vara lika dyr att beräkna som hela lutningen, eftersom utbildningsexempel är sammankopplade. I ett nyligen utfört arbete, Chen et al. (2018) föreslog att man skulle använda en konsekvent gradientskattning som ett ekonomiskt alternativ. Uppmuntrade av empirisk framgång, visar vi, i en allmän miljö, att konsekventa uppskattare resulterar i samma konvergens beteende som opartiska. Vår analys omfattar starkt konvexa, konvexa och icke konvexa mål. Detta arbete öppnar flera nya forskningsinriktningar, bland annat utveckling av effektivare SGD-uppdateringar med konsekventa estimatorer och utformning av effektiva utbildningsalgoritmer för storskaliga grafer.
I någon verklig inlärningsscenario som kräver dyr beräkning av provgradienten, t.ex. Graf djupinlärning modeller, en opartisk estimator är vanligtvis beräkning dyrt eller inte tillgänglig REF.
Stochastic Gradient Descent with Biased but Consistent Gradient Estimators
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}