Det är väl känt att initiering av vikter i djupa neurala nätverk kan ha en dramatisk inverkan på inlärningshastigheten. För att undvika exponentiellt försvinnande eller explosion av gradienter är det till exempel nödvändigt att se till att ett näts input-output i kvadrat är av avgörande betydelse för att undvika exponentiellt försvinnande eller explosion. Det starkare tillståndet att alla singular värden av Jacobian koncentrerar sig nära 1 är en egenskap som kallas dynamisk isometry. För djupa linjära nätverk, kan dynamisk isometri uppnås genom ortogonal vikt initialisering och har visat sig dramatiskt påskynda lärande; dock har det förblivit oklart hur man kan utvidga dessa resultat till den icke-linjära inställningen. Vi tar upp denna fråga genom att använda kraftfulla verktyg från fri sannolikhetsteori för att analytiskt beräkna hela den singular value distributionen av ett djupt nätverk input-output Jacobian. Vi undersöker beroendet av den unika värdefördelningen på djupet av nätverket, vikt initialiseringen, och valet av icke-linjäritet. Förvånansvärt nog finner vi att ReLU-nätverk inte är kapabla till dynamisk isometri. Å andra sidan kan sigmoida nätverk uppnå isometry, men endast med ortogonal vikt initialisering. Dessutom visar vi empiriskt att djupa icke-linjära nätverk som uppnår dynamisk isometri lär sig storleksordningar snabbare än nätverk som inte gör det. Vi visar faktiskt att ordentligt initierade djupa sigmoida nät konsekvent överträffar djupa ReLU-nätverk. Sammantaget visar vår analys att kontrollera hela fördelningen av Jacobian singular värden är en viktig design hänsyn i djupt lärande.
Efter den genomsnittliga fältteorin studerade REF alla enskilda värden hos input-output Jacobian och fann en stark koppling mellan dynamisk isometri och snabb träningshastighet.
Resurrecting the sigmoid in deep learning through dynamical isometry: theory and practice
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}