Vi studerar Stochastic Gradient Langevin Dynamics (SGLD) algoritm för icke-konvex optimering. Algoritmen utför en stokastisk lutning nedstigning, där i varje steg injicerar lämpligt skalad Gaussian buller till uppdateringen. Vi analyserar algoritmens träfftid till en godtycklig delmängd av parameterutrymmet. Två resultat följer av vår allmänna teori: För det första, vi bevisar att för empirisk riskminimering, om den empiriska risken är punktvis nära den (smooth) befolkningsrisken, då algoritmen uppnår ett ungefärligt lokalt minimum av befolkningsrisken i polynom tid, undkomma suboptimala lokala minima som endast existerar i den empiriska risken. För det andra visar vi att SGLD förbättrar ett av de mest kända inlärningsresultatet för att lära linjära klassificeringar under noll-en förlust.
Det samtidiga arbetet med REF analyserar träfftiden för SGLD och bevisar att SGLD konvergerar till ett ungefärligt lokalt minimum.
A Hitting Time Analysis of Stochastic Gradient Langevin Dynamics
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}