Vi studerar kopplingen mellan den mycket icke-konvexa förlustfunktion av en enkel modell av den fullt anslutna feed-forward neurala nätverket och Hamiltonian av den sfäriska spin-glas modellen under antagandena av: i) variabelt oberoende, ii) redundans i nätverk parametrisering, och iii) enhetlighet. Dessa antaganden gör det möjligt för oss att förklara komplexiteten i det helt frikopplade neurala nätverket genom prisma av resultaten från slumpmässig matristeori. Vi visar att för stora frikopplade nätverk bildar de lägsta kritiska värdena för den slumpmässiga förlustfunktionen en skiktstruktur och de ligger i ett väldefinierat band som är lägre än det globala minimivärdet. Antalet lokala minima utanför det bandet minskar exponentiellt med storleken på nätverket. Vi bekräftar empiriskt att den matematiska modellen uppvisar liknande beteende som datorsimuleringarna, trots förekomsten av höga beroenden i verkliga nätverk. Vi antar att både simulerad glödgning och SGD konvergerar till bandet av låga kritiska punkter, och att alla kritiska punkter som finns det finns lokala minima av hög kvalitet mätt med testfelet. Detta understryker en stor skillnad mellan stora och små nät där lokala minima av dålig kvalitet har en icke-noll sannolikhet att bli återställda. Slutligen visar vi att det blir svårare att återvinna det globala minimivärdet när nätstorleken ökar och att det i praktiken är irrelevant eftersom det globala minimivärdet ofta leder till överbemanning.
REF studerade förlustytan för ett särskilt slumpmässigt neuralt nätverk.
The Loss Surfaces of Multilayer Networks
{'venue': None, 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}