I detta dokument visar vi ett antagande som publicerades 1989 och även delvis tar upp ett öppet problem som tillkännagavs vid konferensen om lärandeteori (COLT) 2015. För en förväntad förlust funktion av en djup icke-linjär neurala nätverk, Vi bevisar följande uttalanden under självständighet antagande antagits från nyligen arbete: 1) funktionen är icke-konvex och icke-konkav, 2) varje lokalt minimum är ett globalt minimum, 3) varje kritisk punkt som inte är ett globalt minimum är en sadelpunkt, och 4) egenskapen sadelpunkter skiljer sig för grunda nätverk (med tre lager) och djupare nätverk (med mer än tre lager). Dessutom bevisar vi att samma fyra påståenden håller för djupa linjära neurala nätverk med alla djup, alla bredder och inga orealistiska antaganden. Som ett resultat av detta presenterar vi ett exempel som vi kan besvara på följande fråga: Hur svårt är det att direkt träna en djupgående modell i teorin? Det är svårare än de klassiska maskininlärning modeller (på grund av den icke-konvexitet), men inte alltför svårt (på grund av avsaknaden av fattiga lokala minima och egendom sadeln punkter). Vi konstaterar att även om vi har avancerat den teoretiska grunden för djupt lärande, finns det fortfarande en klyfta mellan teori och praktik.
REF visade att djupa linjära neurala nätverk inte har några suboptimala lokala minima.
Deep Learning without Poor Local Minima
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}