Under de senaste åren har stokastisk lutning nedstigning (SGD)-baserade tekniker blivit standardverktyg för att träna neurala nätverk. Men formell teoretisk förståelse av varför SGD kan träna neurala nätverk i praktiken saknas till stor del. I detta dokument gör vi framsteg med att förstå detta mysterium genom att tillhandahålla en konvergensanalys för SGD på en rik delmängd av två lager feedforward-nätverk med ReLU-aktiveringar. Denna delmängd kännetecknas av en speciell struktur som kallas "identitetskartläggning". Vi bevisar att, om input följer av Gaussian distribution, med standard O(1/ ε d) initiering av vikterna, SGD konvergerar till det globala minimum i polynom antal steg. Till skillnad från vanliga vaniljnätverk gör "identitetskartläggningen" vårt nätverk asymmetriskt och därmed är det globala minimumet unikt. Som komplement till vår teori kan vi också experimentellt visa att flerlagersnätverk med denna kartläggning har bättre prestanda jämfört med normala vaniljnätverk. Vår konvergensteori skiljer sig från traditionella icke-konvexa optimeringstekniker. Vi visar att SGD konvergerar till optimal i "två faser": I fas I pekar lutningen åt fel håll, men en potentiell funktion g minskar gradvis. Sedan i fas II, SGD går in i en trevlig en punkt konvex region och konvergerar. Vi visar också att identitetskartläggningen är nödvändig för konvergens, eftersom den flyttar utgångspunkten till en bättre plats för optimering. Experimentet verifierar våra påståenden. ArXiv:1705.09886v1 [cs.LG] 28 maj 2017 Expressivitet. Även tvålagers nätverk har stor uttryckskraft. Till exempel, två lager nätverk med sigmoid aktiveringar kunde ungefärlig någon kontinuerlig funktion [19, 6, 3]. ReLU är den senaste aktiveringsfunktionen, och utför mycket bättre än sigmoid [26, 12], men färre och svagare resultat på expressivitet av feedforward ReLU nätverk är kända [25, 28, 27]. Lära sig. De flesta tidigare resultat på lärande neurala nätverk är negativa [35, 24, 34], eller positiva men med särskilda algoritmer andra än SGD [20, 39, 33, 13], eller med starka antaganden på modellen [1, 2]. [31] visade att det med hög sannolikhet finns en ständigt minskande väg från slumpmässig startpunkt till det globala minimum, men SGD kanske inte följer denna väg. Linjärt nätverk och oberoende aktivering. Vissa tidigare verk förenklade modellen genom att ignorera aktiveringsfunktionerna och överväga djupa linjära nätverk [32, 21] eller djupa linjära kvarvarande nät [16], som bara kan lära linjära funktioner. Vissa tidigare resultat bygger på oberoende aktivering antagande att aktiveringarna av ReLU och input är oberoende, vilket är orealistiskt [4, 21]. Saddlepoäng. Det observeras att sadelpunkt är inte ett stort problem för neurala nätverk [8, 15]. I allmänhet skulle SGD, om målet är strikt sadlat [10], kunna undkomma alla sadelpunkter.
REF visade SGD kan återvinna de verkliga vikterna av en ettlager ResNet-modell med ReLU aktivering under antagandet att den spektral normen för de verkliga vikterna begränsas av en liten konstant.
Convergence Analysis of Two-layer Neural Networks with ReLU Activation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}