Bakgrund: Statistiska mekanik resultat (Dauphin et al. (2014)................................................................................................................ (2015) ) tyder på att lokala minima med höga fel är exponentiellt sällsynta i höga dimensioner. För att bevisa låga felgarantier för Multilayer Neural Networks (MNN) krävs dock tidigare arbeten hittills antingen en kraftigt modifierad MNN-modell eller utbildningsmetod, starka antaganden på etiketterna (t.ex. "nära" linjär separerbarhet), eller ett orealistiskt brett dolt lager med N-enheter. Resultat: Vi undersöker en MNN med ett dolt lager av styckevis linjära enheter, en enda utgång, och en kvadratisk förlust. Vi bevisar att, med hög sannolikhet i gränsen för N → ∞ datapoints, volymen av olika regioner av den empiriska förlust som innehåller suboptimal differential lokala minima är exponentiellt försvinner i jämförelse med samma volym av globala minima, givet standard normal input av dimension d 0 = och ett mer realistiskt antal dolda enheter. Vi demonstrerar våra resultat numeriskt: till exempel 0% binärt klassificeringsfel på CIFAR med endast N/d 0  på 16 dolda neuroner.
REF studerade ett ickelinjärt nätverk i ett lager med en enda utgång och visade att volymen av suboptimala differentierade lokala minima försvinner exponentiellt i jämförelse med volymen av globala minima.
2 8 O ct 2 01 7 E XPONENTIALLY VANISHING SUB-OPTIMAL LOCAL MINIMA IN MULTILAYER NEURAL NETWORKS