Djupt lärande, i form av artificiella neurala nätverk, har uppnått anmärkningsvärd praktisk framgång under de senaste åren, för en mängd olika svåra maskininlärning tillämpningar. Men, en teoretisk förklaring till detta är fortfarande ett stort öppet problem, eftersom utbildning neurala nätverk innebär att optimera en mycket icke-konvex objektiv funktion, och är känd för att vara beräknings svårt i värsta fall. I detta arbete studerar vi den geometriska strukturen av den tillhörande icke-konvexa objektiva funktionen, i samband med ReLU-nätverk och börjar med en slumpmässig initiering av nätverksparametrarna. Vi identifierar några villkor under vilka det blir mer gynnsamt för optimering, i betydelsen (i) Hög sannolikhet för initialisering vid en punkt från vilken det finns en monotont minskande väg till ett globalt minimum; och (ii) Hög sannolikhet att initiera vid en bassäng (lämpligt definierade) med ett litet minimalt objektivt värde. Ett gemensamt tema i våra resultat är att sådana egenskaper är mer benägna att hålla för större ("överspecificerade") nätverk, vilket överensstämmer med några färska empiriska och teoretiska observationer.
Dessutom är sannolikheten för att starta vid ett avrinningsområde av sådana lokala minima exponentiellt hög i dimensionen REF.
On the Quality of the Initial Basin in Overspecified Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}