A Medan en hel del framsteg har gjorts under de senaste åren, dynamiken i lärande i djupa icke-linjära neurala nätverk fortfarande till stor del missförstås. I detta arbete studerar vi fallet med binär klassificering och visar olika egenskaper lärande i sådana nätverk under starka antaganden såsom linjär separerbarhet av data. Genom att utöka befintliga resultat från det linjära fallet bekräftar vi empiriska observationer genom att bevisa att klassificeringsfelet också följer en sigmoidal form i ickelinjära arkitekturer. Vi visar att med rätt initiering, lär ut parallella oberoende lägen och att vissa regioner med parameterutrymme kan leda till misslyckad utbildning. Vi visar också att inmatningsnorm och funktioner "frekvens i datasetet leder till distinkta konvergenshastigheter som kan kasta lite ljus över generalisering kapacitet djupa neurala nätverk. Vi erbjuder en jämförelse mellan inlärningens dynamik med kors-entropi och gångjärnsförluster, vilket kan visa sig användbart för att förstå den senaste tidens framsteg i utbildningen av generativa kontradiktoriska nätverk. Slutligen identifierar vi ett fenomen som vi döper gradient svält där de vanligaste funktionerna i en datauppsättning förhindrar inlärning av andra mindre frekventa men lika informativa funktioner.
I REF studerades den kontinuerliga dynamiken i vissa icke-linjära nät under relativt starka antaganden såsom datas linjära åtskiljbarhet.
On the Learning Dynamics of Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}