Utbildning mycket djupa nätverk är ett viktigt öppet problem inom maskininlärning. En av många svårigheter är att normen för den bakpropagerade felgradienten kan växa eller förfalla exponentiellt. Här visar vi att utbildning mycket djupa feed-forward nätverk (FFN) inte är så svårt som tidigare trott. Till skillnad från när backpropagation tillämpas på ett återkommande nätverk, program på en FFN uppgår till att multiplicera felgradienten med en annan slumpmässig matris vid varje lager. Vi visar att den successiva tillämpningen av korrekt skalade slumpmässiga matriser till en initial vektor resulterar i en slumpmässig promenad av loggen av normen för de resulterande vektorerna, och vi beräknar skalningen som gör denna promenad opartisk. Variansen av den slumpmässiga promenaden växer endast linjärt med nätverksdjup och är omvänt proportionell mot storleken på varje lager. Praktiskt taget innebär detta en gradient vars log-norm skalor med kvadratroten av nätverksdjupet och visar att problemet med försvinnande gradient kan lindras genom att öka bredden på lagren. Matematiska analyser och experimentella resultat med hjälp av stokastisk lutning nedstigning för att optimera uppgifter relaterade till MNIST och TIMIT datauppsättningar tillhandahålls för att stödja dessa påståenden. Ekvationer för optimal matrisskalning tillhandahålls för de linjära och ReLU-fallen.
Observationen att viktnormerna bildar en slumpmässig gång användes av REF för att justera neurons vinster.
Random Walk Initialization for Training Very Deep Feedforward Networks
{'venue': None, 'journal': 'arXiv: Neural and Evolutionary Computing', 'mag_field_of_study': ['Computer Science', 'Mathematics']}