Trots den omfattande praktiska framgången med djupinlärningsmetoder är vår teoretiska förståelse av inlärningens dynamik i djupa neurala nätverk fortfarande ganska gles. Vi försöker överbrygga klyftan mellan teori och praktik av djupt lärande genom att systematiskt analysera inlärningsdynamiken för det begränsade fallet av djupa linjära neurala nätverk. Trots linjäriteten i deras input-output karta, sådana nätverk har icke-linjär lutning nedstigning dynamik på vikter som förändras med tillägget av varje nytt dolt lager. Vi visar att djupa linjära nätverk uppvisar icke-linjära inlärningsfenomen liknande dem som ses i simuleringar av ickelinjära nätverk, inklusive långa platåer följt av snabba övergångar till lägre fellösningar, och snabbare konvergens från giriga oövervakade förutbildning initiala förhållanden än från slumpmässiga inledande förhållanden. Vi ger en analytisk beskrivning av dessa fenomen genom att hitta nya exakta lösningar på den icke-linjära dynamiken i djupt lärande. Vår teoretiska analys avslöjar också det överraskande konstaterandet att när djupet av ett nätverk närmar sig oändligheten, kan inlärningshastigheten ändå förbli ändlig: för en speciell klass av initiala förhållanden på vikterna, mycket djupa nätverk har endast en ändlig, djup oberoende, fördröjning i inlärningshastigheten i förhållande till grunda nätverk. Vi visar att under vissa villkor på träningsdata, kan oövervakad förträning hitta denna speciella klass av initiala förhållanden, medan skalade slumpmässiga Gaussiska initialiseringar inte kan. Vi uppvisar vidare en ny klass av slumpmässiga ortogonala initiala förhållanden på vikter som, liksom oövervakad förträning, åtnjuter djup oberoende inlärningstider. Vi visar vidare att dessa inledande förhållanden också leder till trogen utbredning av gradienter även i djupa ickelinjära nätverk, så länge de verkar i en särskild regim känd som utkanten av kaos. Djupinlärningsmetoder har uppnått imponerande prestanda i en rad tillämpningar, från visuell objektklassificering [1, 2, 3 ] till taligenkänning [4] och behandling av naturligt språk [5, 6]. Dessa framgångar har uppnåtts trots de konstaterade svårigheterna att utbilda sådana djupa arkitekturer [7, 8, 9, 10, 11]. Faktum är att många förklaringar till svårigheten med djupt lärande har kommit fram i litteraturen, däribland närvaron av många lokala minima, låg krökningsregioner på grund av mättnad av icke-linjäriteter, och exponentiell tillväxt eller förfall av bakåtförökade gradienter [12, 13, 14, 15]. Dessutom har många neurala nätverkssimuleringar observerat 1 arXiv:1312.6120v3 [cs.NE]
REF ger en analytisk analys av lutningsnedstigningsdynamiken i linjära nätverk, vilket dock inte visar att lutningsnedstigning kan hitta globala minima.
Exact solutions to the nonlinear dynamics of learning in deep linear neural networks
{'venue': 'ICLR 2014', 'journal': 'arXiv: Neural and Evolutionary Computing', 'mag_field_of_study': ['Computer Science', 'Physics', 'Biology', 'Mathematics']}