Stochastic momentum metoder har allmänt antagits i utbildning djupa neurala nätverk. Men deras teoretiska analys av konvergensen av utbildningsmålet och generaliseringsfelet för förutsägelser är fortfarande underexploaterad. Detta papper syftar till att överbrygga gapet mellan praktik och teori genom att analysera stokastisk lutning (SG) metod, och stokastiska momentum metoder inklusive två berömda varianter, dvs. stokastisk tung boll (SHB) metod och den stokastiska varianten av Nesterov s accelererade gradient (SNAG) metod. Vi föreslår ett ramverk som förenar de tre varianterna. Vi härleder sedan konvergensen klassar av normen av gradienten för non-convex optimering problem, och analysera generalization prestanda genom den enhetliga stabilitet närma sig. Konvergensanalysen av utbildningsmålet visar särskilt att SHB och SNAG inte har någon fördel jämfört med SG. Stabilitetsanalysen visar dock att momentumtermen kan förbättra stabiliteten i den lärda modellen och därmed förbättra generaliseringens prestanda. Dessa teoretiska insikter bekräftar den gemensamma visdomen och bekräftas också av vår empiriska analys av djupt lärande.
Notering: Vi märker att REF har föreslagit en enhetlig analys av stokastiska momentum för djupt lärande.
A Unified Analysis of Stochastic Momentum Methods for Deep Learning
{'venue': 'In IJCAI, pp. 2955-2961. 2018', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}