Artificiella neurala nätverk är oftast tränas med back-förökning algoritm, där lutningen för lärande tillhandahålls genom att bakåt-förstärka felet, lager för lager, från utdataskiktet till de dolda lagren. En nyligen upptäckt metod som kallas feedback-anpassning visar att de vikter som används för att föröka felet bakåt inte behöver vara symmetriska med de vikter som används för att föröka aktiveringen framåt. I själva verket fungerar slumpmässiga återkopplingsvikter jämnt, eftersom nätverket lär sig hur man gör återkopplingen användbar. I detta arbete används principen om återkoppling anpassning för att träna dolda lager mer oberoende av resten av nätverket, och från en noll grundtillstånd. Felet sprids genom fasta slumpmässiga återkopplingsanslutningar direkt från utdataskiktet till varje dolt lager. Denna enkla metod kan uppnå noll träningsfel även i konvolutionsnätverk och mycket djupa nätverk, helt utan fel backpropagation. Metoden är ett steg mot biologiskt rimlig maskininlärning eftersom felsignalen är nästan lokal, och inga symmetriska eller ömsesidiga vikter krävs. Experiment visar att testprestandan på MNIST och CIFAR är nästan lika bra som de som erhålls med back-propagation för fullt anslutna nätverk. Om den kombineras med avhopp, uppnår metoden 1,45% fel på permutation invariant MNIST uppgift.
Senare föreslog författarna i REF att felsignaler skulle levereras direkt från utdatalagret med hjälp av fasta vikter.
Direct Feedback Alignment Provides Learning in Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}