Detta papper tar itu med två relaterade frågor i hjärtat av maskininlärning; hur kan vi förutsäga om ett minimum kommer att generalisera till testet uppsättningen, och varför stokastisk lutning nedstigning hitta minima som generaliserar väl? Vårt arbete är inspirerat av Zhang et al. (2016), som visade djupa nätverk kan enkelt memorera slumpvis märkta träningsdata, trots att generalisera väl när visas verkliga etiketter av samma ingångar. Vi visar här att samma fenomen förekommer i små linjära modeller. Dessa observationer förklaras genom att utvärdera Bayesian bevis, som straffar skarp minima men är invariant att modellera parameterization. Vi utforskar också "generaliseringsgapet" mellan liten och stor batchträning, vilket identifierar en optimal batchstorlek som maximerar testsetets noggrannhet. Tolkning av stokastisk lutning nedstigning som en stokastisk differentialekvation, identifierar vi en "brusskala" g = (N B − 1) N/B, där är inlärningshastigheten, N träningsset storlek och B batch storlek. Följaktligen är den optimala batchstorleken proportionell mot inlärningshastigheten och träningssetet storlek, B opt N. Vi verifierar dessa förutsägelser empiriskt.
REF tolkar SGD (och dess varianter) som en stokastisk differentialekvation och visar att lutningsbrusskalan g N B − 1, där är inlärningshastigheten, N är träningssetets storlek, och B är den effektiva batchstorleken.
A Bayesian Perspective on Generalization and Stochastic Gradient Descent
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}