Hjärnan bearbetar information genom många lager av nervceller. Denna djupa arkitektur är representativt kraftfull 1, 2, 3, 4, men det komplicerar lärande genom att göra det svårt att identifiera ansvariga neuroner när ett misstag görs 1, 5. I maskininlärning, den backpropagation algoritm 1 tilldelar skulden till en neuron genom att beräkna exakt hur det bidrog till ett fel. För att göra detta multiplicerar den felsignaler med matriser som består av alla synaptiska vikter på nervcellens axon och längre nedströms. Denna operation kräver en exakt koreograferad transport av synapsviktsinformation, vilket tros vara omöjligt i hjärnan 1, 6, 7, 8, 9, 10, 11, 12, 13, 14. Här presenterar vi en förvånansvärt enkel algoritm för djupinlärning, som tilldelar skulden genom att multiplicera felsignaler med slumpmässiga synapsvikter. Vi visar att ett nätverk kan lära sig att extrahera användbar information från signaler som skickas via dessa slumpmässiga återkopplingsanslutningar. I grund och botten lär sig nätverket att lära sig. Vi visar att denna nya mekanism fungerar lika snabbt och exakt som en motpropagation på en mängd olika problem och beskriver de principer som ligger till grund för dess funktion. Vår demonstration ger en rimlig grund för hur en neuron kan anpassas med hjälp av felsignaler som genereras på distala platser i hjärnan, och därmed skingrar långvariga antaganden om algoritmiska begränsningar för inlärning i neurala kretsar. Nätverk i hjärnan beräknar via många lager av sammankopplade nervceller 15,16. För att fungera korrekt måste neuronerna justera sina synapser så att nätverkets utgångar är lämpliga för dess uppgifter. Ett långvarigt mysterium är hur uppströmssynapser (t.ex. synapsen mellan α och β i bild. 1a) justeras på grundval av nedströmsfel (t.ex. e Fig. Fig. Fig. Fig. f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien och f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f.d. jugoslaviska republiken Makedonien, f. 1a).............................................................................................. I artificiell intelligens är detta problem löst med en algoritm som kallas backpropagation av fel 1. Backprop fungerar bra i verkliga applikationer 17,18,19, och nätverk utbildade med det kan stå för cellsvar egenskaper i vissa områden av cortex 20,21. Men den är biologiskt osannolik, eftersom den kräver att neuronerna sänder varandra exakt information om ett stort antal synapsvikter - dvs. Det behöver vikt transport 1, 6, 7, 8, 12, 14,22 (Fig. 1a b)............................................................................. Specifikt, backprop multiplicerar felsignaler e av matrisen W T, införlivandet av framåt synaptiska anslutningar, W (Fig. 1b)................................................................................................ Detta innebär att återkoppling beräknas med hjälp av kunskap om alla synaptiska vikter W i den framåtgående vägen. Av denna anledning, nuvarande teorier om biologiskt lärande har vänt sig till enklare system som förstärkning lärande 23, och "shalow" mekanismer som använder fel för att justera endast det sista skiktet av ett nätverk 4,11. Men förstärkning lärande, som levererar samma belöningssignal till varje neuron, är långsam och skalar dåligt med nätverksstorlek 5, 13, 24. Och ytliga mekanismer slösa representationskraft djupa nätverk 3.4.25. Här beskriver vi en ny djuplärande algoritm som är lika snabb och exakt som backprop, men mycket enklare att undvika all transport av synapsviktsinformation. Detta gör det till en mekanism som hjärnan lätt kan utnyttja. Det är baserat på tre insikter: (i) Återkopplingsvikterna behöver inte vara exakt W T. I själva verket, någon matris B kommer att räcka, så länge som i genomsnitt, där e är felet i nätverkets utdata (Fig. 1a).............................................................................................. Geometriskt betyder detta den lärarsignal som skickas av matrisen, Be, ligger inom 90 • av den signal som används av backprop, W T e, dvs.. B pressar nätverket i ungefär samma riktning som backprop skulle. (ii) Även om nätverket inte har denna egendom till en början, kan det förvärva den genom lärande. Det uppenbara alternativet är att justera B för att göra ekvation (1) sant, men (iii) en annan möjlighet är att göra samma genom att justera W. Vi kommer att visa att detta kan göras mycket enkelt, även med en fast, slumpmässigt B (Fig. Denna förordning är till alla delar bindande och direkt tillämplig i alla medlemsstater. Vi visar först att denna mekanism fungerar för en mängd olika uppgifter, och sedan förklara varför den fungerar. För tydlighetens skull anser vi att ett trelagers nätverk av linjära neuroner (se Random feedback vikter kan leverera användbara undervisningssignaler till föregående lager av ett neuralt nätverk. a, Den backprop lärande algoritm är kraftfull, men kräver biologiskt osannolik transport av individuell synaps vikt information. För backprop måste neuronerna känna till varandras synapsvikter, t.ex. De tre färgade synapserna på återkopplingscellen i botten måste ha samma vikt som motsvarande synapser i tre celler i den främre banan. På en dator är det enkelt att använda synapsvikterna i både framåt och bakåt beräkningar, men synapser i hjärnan kommunicerar information enkelriktat. b, Implementeras i en dator, backprop beräknar hur man ändrar dolda enhetsaktiviteter genom att multiplicera felvektorn, e = y * - y, genom att införliva matrisen för framåtvikterna, d.v.s., BP = W T e. c, Vår återkoppling anpassningsmetod använder motintuitiv observation att lärande är fortfarande effektiv om W T ersätts av en matris av fasta slumpmässiga vikter, B, så att  tillh FA = Be. d, Fyra algoritmer lär sig att härma en linjär funktion: "shallow" lärande (ljusgrå), förstärkning lärande (mörkgrå), backprop (svart) och återkoppling anpassning (grön). NSE är normaliserat kvadratfel. e, Vinkel mellan den dolda enheten uppdatering vektor föreskrivs av återkoppling anpassning och den som föreskrivs av backprop, dvs.,.h FA  och BP. Felstänger är två standardavvikelser för ett skjutfönster med 10 exempel. 3 Metoder). Nätverkets utdata är y = W h, där h är den dolda enhetsaktivitetsvektorn, given av h = W 0 x, där x är indata till nätverket. W 0 är matrisen av synapsvikter från x till h och W är vikterna från h till y. Nätverket lär sig att approximera en linjär funktion, T (för "mål"). Dess mål är att minska det fyrkantiga felet, eller förlusten, T e, där felet e = y * − y = T x − y. Vi tränade nätverket med hjälp av fyra algoritmer (Fig. 1d)........................................................................................................... Om bara de utgående vikter, W, justeras, som i grunda metoder, då förlusten minskar knappast. Om en snabb variant av förstärkning inlärning används för att justera dolda vikter, W 0, då det finns vissa framsteg men det är långsamt. Däremot skickar backprop förlusten snabbt mot noll. Det justerar den dolda enheten vikter enligt lutningen av förlusten, T. Således, backprop justerar de dolda enheterna enligt vektorn:  på h BP = W T e. Här och i hela  påh betecknar uppdateringen skickas till det dolda lagret, snarare än förändringen i de dolda enheterna. Vår nya algoritm justerar W på samma sätt som backprop (-) (-L/-W ) =-eh för -h det använder en mycket enklare formel, som inte behöver någon information om W eller någon annan synapser men istället skickar e genom en fast slumpmässig matris B, Denna algoritm, som vi kallar feedback justering driver ner förlusten så snabbt som backprop gör (Fig. 1d)........................................................................................................... Nätverket lär sig hur man lär sig – det upptäcker gradvis hur man använder B, vilket sedan möjliggör effektiv modifiering av de dolda enheterna. Till en början är uppdateringarna av det dolda lagret inte till någon hjälp, men de förbättras snabbt genom en implicit återkopplingsprocess som förändrar W så att e T W Be > 0. För att avslöja detta ritar vi vinkeln mellan de dolda enhetsuppdateringar som föreskrivs av återkopplingsjusteringen och backprop,  på FA och BP ( Bild. 1e ; se Metoder). Inledningsvis vinklarna genomsnitt ca 90 •. Men de krymper snart, när algoritmen börjar vidta åtgärder som är närmare dem av backprop. Denna anpassning av den h's innebär att B har börjat agera som W T. Och eftersom B är fast, är anpassningen drivs av förändringar i de främre vikterna W. På detta sätt, slumpmässiga återkopplingsvikter kommer att överföra användbara undervisningssignaler till neuroner djupt i nätverket. Återkoppling anpassning lärande löser också icke-linjära, verkliga problem. Vi körde det på ett referensklassificeringsproblem (Fig. 2a), lära sig känna igen handskrivna siffror 17 (se Metoder). På denna uppgift ger backprop det genomsnittliga felet på testet satt till 2,4 % (genomsnitt för n=20 körningar). Återkoppling anpassning lär sig så snabbt som backprop, når 2,1% medelvärde fel (n=20), och utvecklar liknande funktionsdetektorer (Supplemen- tary Fig. S1 )............................................................................................................... Mätt med vinkeln,  på FA och BP, lär sig återkoppling snabbt att använda de slumpmässiga vikterna för att överföra användbar felinformation till de dolda enheterna (Fig. 2b)........................................................................................................... Även när vi slumpmässigt tar bort 50% av elementen i W och B matriser, så att neuroner i h och y har en 25% chans till ömsesidig anslutning, feedback anpassning fortfarande matchar backprop (2,4% medelvärde fel; n=20). Vissa uppgifter utförs bättre av nätverk med mer än ett dolt lager, men för det behöver vi en lärande algoritm som kan utnyttja den extra kraften i ett djupare nätverk 2.3,4 (Fig. 2c)........................................................................................................... Backprop tilldelar en neuron skulden genom att ta hänsyn till alla dess nedströmssynapser. Uppdateringen för det första dolda lagret i ett fyralagers nätverk (Fig. 2c) är h (Fig. 2c)........................................................................................................... På en icke-linjär funktionsanpassad uppgift (se Metoder), båda backprop (t-test, n = 20, p = 3 × 10 −12 ; bild. 2d) och återkopplingsjustering (t-provning, n = 20, p = 9 × 10 −13; bild. 2d ) ger bättre prestanda med ett fyrskiktsnätverk än med ett treskiktsnätverk. Algoritmen bygger därför användbara funktionsdetektorer i de djupaste skikten i ett nätverk genom att återge fel via slumpmässiga anslutningar. Denna flexibilitet gör feedback anpassning mer rimlig för hjärnan: lärandet fortskrider även när felvektorer urskillningslöst sänds via slumpmässiga återkopplingsvikter till flera lager av celler. Varför fungerar feedback anpassning? Dess mekanism kommer från vissa nya nätverk 6 dynamik. För att förklara dem, vi anser att ett minimalt nätverk med bara en linjär neuron i varje lager (Fig. 3a, se Metoder). Vi visualiserar (Fig. 3b) hur nätverkets två vikter, W 0 och W, utvecklas när feedback vikt B är inställd på 1. Flödesfältet visar att systemet rör sig längs paraboliska vägar. Från de flesta utgångspunkter går nätverksvikterna till hyperbola längst upp till höger (Fig. 3b).................................................................. Denna hyperbola är en uppsättning stabila jämviktslösningar där W > 0 och därför e T W Be > 0 för alla e - d.v.s. ekvation (1) är nöjd, vilket innebär att W har utvecklats så att återkopplingsmatrisen B levererar användbara undervisningssignaler. I högre dimensioner kan vi identifiera förhållanden under vilka feedback justering garanteras att minska fel till noll (kompletterande bevis 1). Viktigt är att beviset gäller fall där felet kan nå noll endast om B överför användbar information till de dolda nervcellerna. Beviset visar också att högdimensionella analoger av mönstret av paraboliska vägar sett i det minimala nätverket (Fig. 3a, b), även hålla för nätverk med ett stort antal enheter. Beviset beror i själva verket på det faktum att återkopplingsjusteringen ger ett samband där C är konstant, dvs. den vänstra sidan är en kvadratisk funktion av W 0. Uppdateringar av återkopplingsjustering konvergerar inte med backprop (Fig. 1e, bild 1e. 2b ), ytligt tyder på att de är endast suboptimala approximationer av BP. Ytterligare analyser visar att denna uppfattning är alltför förenklad. Våra bevis säger att vikterna W 0 och W utvecklas till jämviktsgrenrör, men simuleringar (Fig. 4) och analytiska resultat (kompletterande bevis 2) tyder på något mer specifikt: att när vikterna börjar nära 0, feedback anpassning uppmuntrar W att agera som en lokal pseudoinvers av B runt felgrenröret. Detta faktum är viktigt eftersom om B var exakt W + ( MoorePenrose pseudoinverse av W ), då nätverket skulle utföra Gauss-Newton optimering (kompletterande bevis 3). Vi kallar denna uppdatering regel för gömda enheter pseudobackprop och betecknar det med  påh PBP = W + e. Experiment med det linjära nätverket visar att vinkeln,  och FA  på PBP snabbt blir mindre än FA  och BP (Fig. 4b, c ; se Metoder). Med andra ord visar feedback anpassning, trots sin enkelhet, delar av andra ordningen lärande. På 1980-talet lovade nya artificiella nätverksinlärningsalgoritmer att ge insikt i hjärnfunktion 1. Men den mest kraftfulla klassen av algoritmer använder felsignaler anpassade till varje neuron och verkade omöjligt att genomföra i hjärnan eftersom de krävde vikt transport 6, 7. Mer lättlurade algoritmer har utformats 9, 10, 13, 14,22, 26, 27, 28, 29, 30, men dessa antingen faller långt ifrån backprop hastighet eller kräver en hel del ytterligare bearbetning 10, 11, 12, 13, 22. I tydlig kontrast är den mekanism som utvecklats här mycket enklare än backprop, men ändå matchar dess hastighet och noggrannhet. Återkoppling anpassning skingrar det centrala antagandet av tidigare neuron-specifika algoritmer - att felinformation 8 måste vara exakt skräddarsydd för varje neuron. Vårt arbete visar att det är mycket lättare än tidigare trott att skicka neuronspecifika undervisningssignaler genom ett djupt nätverk: allt du behöver är slumpmässiga återkopplingsförbindelser. Principerna bakom feedback anpassning lärande är förenliga med många hjärnkretsar där ömsesidiga återkopplingsförbindelser finns, såsom förekommer inom, och mellan regioner i neocortex 15,16. Detta gör det till en attraktiv grund för förståelse av olika former av lärande i djupa nätverk, inklusive integrering av sensorisk information och motoriska anpassningsprocesser. Slutligen, feedback anpassning kan erbjuda nya möjligheter att integrera neurovetenskap med senaste framsteg inom maskininlärning som har lyft fram kraften i djupa arkitekturer 2, 3, 18,19,25. Vi tränade feedforward nätverk på tre uppgifter. I samtliga fall var målet att minimera kvadraten på felet, L = (1/2)e T e, där e = y * - y är skillnaden mellan önskad och faktisk utdata. Uppgift 23,24. Vi valde inlärningshastigheten η för varje algoritm via manuell sökning 31 för att optimera inlärningshastigheten. Uppgift (2): Ett 784-1000-10 nätverk med standard sigmoidal dolda och utgångsenheter (dvs. σ(x) = 1/(1+exp(−x))) tränades för att klassificera bilder av handskrivna siffror, 0-9. Varje enhet hade en justerbar ingångsförskjutning. Standard 1-hot representation användes för att koda önskad utgång. Nätverket utbildades med 60 000 bilder från standard MNIST dataset 17, och prestanda mättes som procentandel av fel som gjorts på en hållen åt sidan test uppsättning av 10 000 bilder. Båda algoritmerna använde en inlärningshastighet av, η = 10 −3, och viktfall, α = 10 −6. Parameteruppdateringarna var desamma som de som användes i det linjära fallet, men med FA = (Be) • σ, där • är elementvis multiplikation och σ är derivatan av utdataaktiveringarna. Ett 30-20-10 och 30-20-10-10-nätverk utbildades för att uppskatta uteffekten av ett 30-20-10-10-målnätverk. Alla tre nätverken hade tanh(·) dolda enheter, linjära utgångsenheter och en justerbar ingångsförskjutning för varje enhet. Input/output träningspar producerades via, y * = W 2 tanh(W 1 tanh(W 0 x + b 0 ) + b 1 ) + b 2, med x  till N (μ = 0,  på = I). Vinkeln mellan två vektorer, t.ex. a b, beräknades som:  på = cos −1 (...)
Att ta itu med problemet med vikttransport (viktsymmetrirestriktionen) gjordes också för det övervakade fallet med hjälp av återkopplingsjustering REF: även om återkopplingsvikterna inte exakt överensstämmer med matar framåt vikter, den senare lär sig att anpassa sig till den tidigare och "back-propagation" (med fel återkopplingsvikter) fungerar fortfarande.
Random feedback weights support learning in deep neural networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Biology']}