Vi studerar beteendet hos otränade neurala nätverk vars vikter och fördomar fördelas slumpmässigt med hjälp av genomsnittlig fältteori. Vi visar att det finns djupvågar som naturligt begränsar signalutbredningens maximala djup genom dessa slumpmässiga nätverk. Vårt huvudsakliga praktiska resultat är att visa att slumpmässiga nätverk kan tränas just när information kan resa genom dem. De djupvågar som vi identifierar ger därför gränser för hur djupt ett nätverk kan tränas för ett specifikt val av hyperparametrar. Som en följd av detta, hävdar vi att i nätverk i utkanten av kaos, en av dessa djup skalor skiljer sig. Således kan godtyckligt djupa nätverk utbildas endast tillräckligt nära kritiskhet. Vi visar att förekomsten av avhopp förstör order-to-chaos kritiska punkten och därför kraftigt begränsar det maximala utbildningsbara djupet för slumpmässiga nätverk. Slutligen utvecklar vi en genomsnittlig fältteori för backpropagation och vi visar att de beställda och kaotiska faserna motsvarar regioner som försvinner respektive exploderar gradient.
Tekniken REF utför analys av neurala nätverk med hjälp av medelfältteori, som är relaterad till vår variansförökning.
Deep Information Propagation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}