Stochastic lutning nedstigning (SGD) används ofta i maskininlärning. Även om den allmänt betraktas som en snabb men inte korrekt version av lutning nedstigning (GD), finner den alltid bättre lösningar än GD för moderna neurala nätverk. För att förstå detta fenomen har vi en alternativ uppfattning om att SGD arbetar med den konvolverade (alltså utjämnade) versionen av förlustfunktionen. Vi visar att även om funktionen f har många dåliga lokala minima eller sadel punkter, så länge för varje punkt x, det viktade genomsnittet av lutningarna i sina stadsdelar är en punkt konvex med avseende på den önskade lösningen x *, SGD kommer att komma nära, och sedan stanna runt x * med konstant sannolikhet. Mer specifikt, SGD kommer inte att fastna vid "skarp" lokala minima med små diametrar, så länge kvarteren i dessa regioner innehåller tillräckligt gradient information. Grannens storlek styrs av stegstorlek och lutningsbuller. Vårt resultat identifierar en uppsättning funktioner som SGD på ett tillfredsställande sätt fungerar, vilket är mycket större än uppsättningen konvexa funktioner. Empiriskt, Vi observerar att förlust ytan av neurala nätverk har fina en punkt konvexitet egenskaper lokalt, därför vårt teorem hjälper till att förklara varför SGD fungerar så bra för neurala nätverk.
En alternativ vy tyder på en invecklad, d.v.s. utjämning, effekt på förlustfunktionen under hela träningen REF.
An Alternative View: When Does SGD Escape Local Minima?
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}