Vi visar att i kvarvarande neurala nätverk (ResNets) dynamisk isometri kan uppnås oavsett vilken aktiveringsfunktion som används. Vi gör det genom att härleda, med hjälp av fri sannolikhet och slumpmässiga Matrixteorier, en universell formel för spektral densitet av input-output Jacobian vid initiering, i den stora nätverksbredd och djup gräns. Det resulterande enskilda värdespektrumet beror på en enda parameter, som vi beräknar för en mängd populära aktiveringsfunktioner, genom att analysera signalutbredningen i det artificiella neurala nätverket. Vi bekräftar våra resultat med numeriska simuleringar av både slumpmässiga matriser och ResNets som tillämpas på CIFAR-10 klassificeringsproblem. Dessutom studerar vi konsekvenserna av detta universella beteende för de inledande och sena faserna av inlärningsprocesserna. Vi avslutar med att uppmärksamma det enkla faktum, att initiering fungerar som en förvirrande faktor mellan valet av aktiveringsfunktion och inlärningshastigheten. Vi föreslår att i ResNets kan detta lösas baserat på våra resultat, genom att säkerställa samma nivå av dynamisk isometri vid initiering. Deep Learning har uppnått enastående framgång inom områden som objektdetektering och igenkänning, språköversättning och taligenkänning [2]. Samtidigt är modeller som uppnår dessa toppmoderna resultat allt djupare och komplexare [3], vilket ofta leder till optimeringsutmaningar såsom försvinnande gradienter. Många lösningar på detta problem har föreslagits. I synnerhet, Residual Neural Networks åtgärda detta problem i viss utsträckning [5, 7] genom att använda hoppa anslutningar i nätverket arkitektur, som förbättrar lutningsflödet. Detta ledde till att Residual Neural Networks överträffade andra konkurrerande modeller i 2015 års ILSVRC- och COCO-tävlingar. Ytterligare ett tillvägagångssätt för att lösa detta problem är att anpassa nätverkets viktinitiering för att underlätta träning, till exempel genom att säkerställa dynamisk isometri [6]. I detta senare fall baseras insikterna på en analys av de statistiska egenskaperna hos informationsutbredning i nätverket och en studie av det fullständiga enskilda spektrumet av en viss matris, nämligen input-output Jacobian, via teknikerna för fri sannolikhet och slumpmässiga Matrixteorier (FPT & RMT). Detta perspektiv har nyligen lett till framgångsrik utbildning en 10000 lager vanilj konvolutionella neurala nätverk [8]. RMT är ett mångsidigt verktyg som sedan starten såg en betydande andel av tillämpningar, bildar den tidigaste i kärnfysik [9] till den senaste i spelteori [10] (se [11] för några av de användningsfall som upptäckts under tiden). Det är därför inte förvånande att den fann sitt sätt att användas för att förstå artificiella neurala nätverk. I synnerhet för att studera deras förlust yta [12, 13], den tillhörande gram matris [14, 15] och i fallet med ett lager nätverk, deras dynamik [16]. Vårt huvudsakliga bidrag är att utvidga den teoretiska analysen av [6, 17, 18] till resterande nät. I synnerhet, vi finner att i motsats till feedforward nätverk, kvarvarande nätverk kan få dynamisk isometri för många olika aktiveringsfunktioner. Dessa teoretiska resultat stöds av en empirisk undersökning av det populära CIFAR-10-riktmärket. För en kort diskussion om relevanta resultat i ren RMT och FPT hänvisar vi läsaren till underavsnitt II A. Här fokuserar vi på särskild utveckling i samband med vårt arbete med neurala nätverk. Ramen för dynamisk medelfältteori, vi kommer att ansöka om att studera signalutbredning i neurala nätverk, användes först i detta sammanhang i [20]. Där visade författarna existensen av en order-till-chaos expressivitet övergång för djup mata framåt neurala nätverk med slumpmässiga inledande vikter, på det plan som spänns av varianserna av nätverkens vikter och fördomar. Detta i sin tur ledde till insikten [17], att godtyckliga djupa nätverk kan utbildas så länge de är nära den kritik som är förknippad med den övergången. De tekniker som utvecklats i dessa arbeten, tillsammans med metoder för FPT och RMT, tillät, för första gången, att analytiskt beräkna den singular värdefördelning av input-output Jacobian av en djup feed forward nätverk med ickelinjär aktiveringsfunktion och vid kritik [6]. Slutligen visade författarna till [18] att för feed-forward neurala nätverk, i deras stora djup gräns och vid en särskild punkt av ovan nämnda * Elektronisk adress: wojciech.tarnowski@uj.edu.pl † Elektronisk adress:
I REF diskuterar författarna de universella tecknen i det enskilda spektrumet under O(1/L) skalning med fri sannolikhet.
Dynamical Isometry is Achieved in Residual Networks in a Universal Way for any Activation Function
{'venue': 'AISTATS 2019', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}