Stochastic Gradient Descent med en konstant inlärningshastighet (konstant SGD) simulerar en Markov kedja med en stationär distribution. Med detta perspektiv får vi flera nya resultat. (1) Vi visar att konstant SGD kan användas som en ungefärlig Bayesian bakre inference algoritm. Specifikt visar vi hur man justerar inställningsparametrarna för konstant SGD för att bäst matcha den stationära fördelningen till en bakre, minimera Kullback-Leibler skillnaden mellan dessa två fördelningar. (2) Vi visar att konstant SGD ger upphov till en ny variantalgoritm för EM som optimerar hyperparametrar i komplexa probabilistiska modeller. (3) Vi föreslår också SGD med momentum för provtagning och visar hur man justerar dämpningskoefficienten i enlighet därmed. (4) Vi analyserar MCMC-algoritmer. För Langevin Dynamics och Stochastic Gradient Fisher Scoring, kvantifierar vi approximationsfel på grund av ändliga inlärningsfrekvenser. Slutligen (5), använder vi det stokastiska processperspektivet för att ge ett kort bevis på varför Polyak-medelvärdet är optimalt. Baserat på denna idé, föreslår vi en skalbar ungefärlig MCMC algoritm, den genomsnittliga stokastisk Gradient Sampler. Nyligen har stokastiska lutningar (SG) också använts i tjänsten av skalbara Bayesian Markov Chain Monte-Carlo (MCMC) metoder, där målet är att generera prover från en villkorlig distribution av latenta variabler med tanke på en datauppsättning. I Bayesian inference, antar vi en probabilistisk modell p( ska, x) med 1 arXiv:1704.04289v1 [stat.ML]
Författarna till REF ungefärlig SGD av en annan SDE och visar att SGD kan användas som en ungefärlig Bayesian posterior inference algoritm.
Stochastic Gradient Descent as Approximate Bayesian Inference
{'venue': 'Journal of Machine Learning Research 18 (2017) 1-35', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}