Carlo (SG-MCC) metoder är Bayesian analoger till populära stokastiska optimeringsmetoder; dock är denna anslutning inte väl studerad. Vi utforskar detta förhållande genom att tillämpa simulerad glödgning på en SG-MCMC algoritm. Dessutom utökar vi de senaste SG-MCMC-metoderna med två nyckelkomponenter: i) adaptiva förkonditionatorer (som i ADAgrad eller RMSprop), och ii) adaptiva momentumvikter. Nolltemperaturgränsen ger en ny stokastisk optimeringsmetod med adaptiva momentumvikter, medan konventionella optimeringsmetoder endast har en delad, statisk momentumvikt. Enligt vissa antaganden tyder vår teoretiska analys på att den föreslagna simulerade glödlampan konvergerar nära den globala optiman. Experiment på flera djupa neurala nätverksmodeller visar toppmoderna resultat jämfört med relaterade stokastiska optimeringsalgoritmer.
För en optimeringsaspekt av SG-MCMC föreslog REF en global optimeringsalgoritm genom att tillämpa simulerad glödgning till SGLD.
Bridging the Gap between Stochastic Gradient MCMC and Stochastic Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}