Algoritmberoende generaliseringsfelgränser är centrala för statistisk inlärningsteori. En lärande algoritm kan använda en stor hypotes utrymme, men det begränsade antalet iterationer styr sin modell kapacitet och generalisering fel. Effekterna av stokastiska gradientmetoder på generaliseringsfel för icke-konvexa inlärningsproblem har inte bara viktiga teoretiska konsekvenser, utan är också kritiska till generaliseringsfel av djupt lärande. I denna uppsats studerar vi generaliseringsfelen hos Stochastic Gradient Langevin Dynamics (SGLD) med icke-konvexa mål. Två teorier föreslås med icke-asymptotiska diskreta tidsanalyser, med hjälp av stabilitets- respektive PAC-bayesianska resultat. Den stabilitetsbaserade teorin βT k, där L är enhetlig Lipschitz parameter, β är omvänt temperatur, och T k är aggregerade steg storlekar. För PAC-bayesiansk teori, även om gränsen har en långsammare O(1/ ε n) hastighet, är bidraget från varje steg visas med en exponentiellt sönderfallande faktor genom att införa 2 legalisering, och den enhetliga Lipschitz konstanten ersätts också av faktiska normer för gradienter längs banan. Våra gränser har inget implicit beroende av dimensioner, normer eller andra kapacitetsmått av parameter, som elegant karakteriserar fenomenet "Fast Training Guarantees Generalization" i icke-konvexa inställningar. Detta är det första algoritmberoende resultatet med rimligt beroende av aggregerade stegstorlekar för icke-konvext lärande, och har viktiga konsekvenser för statistiska inlärningsaspekter av stokastiska gradientmetoder i komplicerade modeller såsom djupt lärande.
Speciellt, REF ) tillämpade PAC Bayesian teori för att studera generalisering fel av SGD med additiv Gaussian buller.
Generalization Bounds of SGLD for Non-convex Learning: Two Theoretical Viewpoints
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}