Neurala nätverk har många framgångsrika tillämpningar, medan mycket mindre teoretisk förståelse har vunnits. Mot överbrygga detta gap, studerar vi problemet med att lära sig en två-lagers överparameterized ReLU neurala nätverk för multi-klass klassificering via stokastisk lutning nedstigning (SGD) från slumpmässig initiering. I den överparameteriserade inställningen, när data kommer från blandningar av väl åtskilda distributioner, visar vi att SGD lär sig ett nätverk med ett litet generaliseringsfel, även om nätverket har tillräcklig kapacitet för att passa godtyckliga etiketter. Dessutom ger analysen intressanta insikter i flera aspekter av lärande neurala nätverk och kan verifieras baserat på empiriska studier av syntetiska data och på MNIST dataset. Neurala nätverk har uppnått stor framgång i många tillämpningar, men trots en ny ökning av teoretiska studier återstår mycket att förklara. Till exempel är det empiriskt observeras att lärande med stokastisk lutning nedstigning (SGD) i överparameteriserad inställning (dvs. att lära sig ett stort nätverk med ett antal parametrar som är större än antalet träningsdatapunkter) inte leder till översittande [24, 31]. Vissa färska studier använder den låga komplexiteten i den lärda lösningen för att förklara generaliseringen, men brukar inte förklara hur SGD eller dess varianter gynnar låg komplexitet lösningar (dvs. den induktiva fördomar eller implicita legalisering) [3, 23]. Det observeras också att överparameterisering och korrekt slumpmässig initiering kan hjälpa optimeringen [28, 12, 26, 18], men det är inte heller väl förstått varför en viss initiering kan förbättra lärandet. Dessutom är de flesta av de befintliga verk som försöker förklara dessa fenomen i allmänhet beroende av orealistiska antaganden om datadistributionen, såsom Gaussisk-het och / eller linjär separerbarhet [32, 25, 10, 17, 7]. I detta dokument föreslås därför att man studerar problemet med att lära sig ett tvålagers överparameteriserat neuralt nätverk med SGD för klassificering, på data med en mer realistisk struktur. I synnerhet är data i varje klass en blandning av flera komponenter, och komponenter från olika klasser är väl åtskilda i avstånd (men komponenterna i varje klass kan vara nära varandra). Detta motiveras av praktiska uppgifter. Till exempel på datauppsättningen MNIST [15] motsvarar varje klass en siffra och kan ha flera komponenter som motsvarar olika skrivstilar av siffran, och en bild i den är en liten perturbering av en av komponenterna. Å andra sidan är bilder som tillhör samma komponent närmare varandra än en bild av en annan siffra. Analys i denna miljö kan då bidra till att förstå hur strukturen av de praktiska data påverkar optimering och generalisering. I den här inställningen bevisar vi att när nätverket är tillräckligt överparameteriserat lär sig SGD på ett tydligt sätt ett nätverk nära den slumpmässiga initieringen och med ett litet generaliseringsfel. Detta resultat visar att i den överparameteriserade inställningen och när data är väl strukturerad, men i princip Preprint. Pågående arbete.
REF visar att stokastisk lutning nedstigning (SGD) med korsentropi förlust kan lära sig ett tvålagers nätverk med små testfel, med hjälp av poly(l, 1/ på) dolda enheter, där l är minst det täckande antalet stöd för funktionsfördelningen med hjälp av bollar vars radie inte är större än det minsta avståndet mellan två datapunkter med olika etiketter.
Learning Overparameterized Neural Networks via Stochastic Gradient Descent on Structured Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}