En omfattande kropp av empirisk forskning har avslöjat anmärkningsvärda regulariteter i förvärv, organisation, utplacering och neural representation av mänsklig semantisk kunskap, vilket väcker en grundläggande begreppsfråga: vilka är de teoretiska principer som styr förmågan hos neurala nätverk att förvärva, organisera och distribuera abstrakt kunskap genom att integrera i många individuella erfarenheter? Vi tar upp denna fråga genom att matematiskt analysera den icke-linjära inlärningsdynamiken i djupa linjära nätverk. Vi finner exakta lösningar på denna inlärningsdynamik som ger en begreppsmässig förklaring till förekomsten av många olikartade fenomen i semantisk kognition, inklusive den hierarkiska differentieringen av begrepp genom snabba utvecklingsövergångar, förekomsten av semantiska illusioner mellan sådana övergångar, uppkomsten av objekttypicitet och kategorisammanhållning som faktorer som styr hastigheten av semantisk bearbetning, förändrade mönster av induktiv projektion över utveckling, och bevarandet av semantisk likhet i neurala representationer mellan arter. Därför är det förvånande att vår enkla neurala modell kvalitativt rekapitulerar många olika regulariteter som ligger till grund för semantisk utveckling, samtidigt som den ger en analytisk inblick i hur den statistiska strukturen i en miljö kan interagera med den icke-linjära djupinlärningsdynamiken för att ge upphov till dessa regulariteter. Förkortningar: SVD, singular value decomposition H uman cognition bygger på en rik reservoar av semantisk kunskap som gör det möjligt för oss att organisera och resonera om vår komplexa sensoriska värld [1][2][3][4]. Denna semantiska kunskap gör det möjligt för oss att besvara grundläggande frågor från minnet (dvs. "Har fåglar fjädrar?"), och bygger i grunden på neurala mekanismer som kan organisera enskilda objekt, eller enheter (dvs. Canary, Robin) i högre ordning begreppskategorier (dvs. Fåglar) som innehåller föremål med liknande egenskaper eller egenskaper. Denna kunskap om enskilda väsen och deras begreppsmässiga grupperingar i kategorier eller andra ontologier förekommer inte i barndomen, utan utvecklas under barndomen [1, 5], och hos vuxna styr den kraftfullt införandet av lämpliga induktiva generaliseringar. Förvärv, organisation, spridning och neural representation av semantisk kunskap har studerats intensivt, vilket ger många väldokumenterade empiriska fenomen. Under förvärvet lär man sig till exempel i allmänhet mer kategoriska distinktioner innan finare graderingar [1, 5], och långa perioder av relativ stasis kan följas av abrupt begreppsmässig omorganisation [6, 7]. Förvånansvärt nog kan barn under dessa perioder av utvecklingsstas starkt tro på illusoriska och felaktiga fakta om världen [2]. Många psykofysiska studier av prestationer i semantiska uppgifter har också avslöjat empiriska regulariteter som styr organiseringen av semantisk kunskap. I synnerhet är kategorimedlemskap en graderad kvantitet, och vissa poster är mer eller mindre typiska medlemmar i en kategori (dvs. en sparv är en mer typisk fågel än en pingvin). Begreppet posttypiskhet är både mycket reproducerbart mellan individer [8, 9] och korrelerar med utförandet av en mångfald av semantiska uppgifter [10][11][12][13][14]. Dessutom anses vissa kategorier i sig vara mycket sammanhängande (dvs. uppsättningen saker som är Hundar), i motsats till mindre sammanhängande kategorier (dvs. uppsättningen saker som är blå). Mer sammanhängande kategorier spelar en privilegierad roll i organisationen av vår semantiska kunskap; sammanhängande kategorier är de som är lättast att lära sig och representera [8, 15, 16]. Dessutom styr organisationen av semantisk kunskap kraftfullt dess spridning i nya situationer, där man måste göra induktiva generaliseringar om nya objekt och egenskaper [2, 3]. Studier av barn visar att deras induktiva generaliseringar systematiskt förändrar utvecklingen och ofta blir mer specifika med åldern [2, 3, [17] [18]] [19]. Slutligen har nyligen genomförda neurovetenskapliga studier börjat sprida ljus över organiseringen av semantisk kunskap i hjärnan. Metoden för representationell likhetsanalys [20, 21] har visat att likhetsstrukturen hos nervpopulationens aktivitetsmönster i högnivåkortikala områden ofta återspeglar den semantiska likhetsstrukturen hos stimuli, till exempel genom att differentiera livlösa föremål från animerade [22] [23] [24] [25] [26]. Och påfallande nog har undersökningar funnit att en sådan neural likhetsstruktur bevaras mellan människor och till och med mellan människor och apor [27, 28]. Denna rikedom av empiriska fenomen väcker en grundläggande begreppsmässig fråga om hur neurala kretsar, när de upplever många individuella möten med specifika objekt, kan över utvecklingstidsskalor extrahera abstrakt semantisk kunskap bestående av användbara kategorier som sedan kan vägleda vår förmåga att resonera om världen och induktivt generalisera. Medan en mängd olika teorier har utvecklats för att förklara människans semantiska utveckling, finns det för närvarande ingen analytisk, matematisk teori om neurala kretsar som kan förklara de olika fenomen som beskrivs ovan. Intressanta icke-neurala redogörelser för upptäckten av abstrakt semantisk struktur inkluderar till exempel begreppsmässig "teori-teori" [2, [16] [17] [18], och beräknings Bayesian [29] metoder. Dock föreslår inte heller för närvarande en neural implementation som kan härleda abstrakta begrepp från en ström av specifika exempel. Däremot har mycket tidigare arbete genom simuleringar visat att neurala nätverk gradvis kan extrahera semantisk struktur genom att gradvis justera synapsvikterna genom felkorrigerande inlärning [4,[30][31][33][34][35][36][37]. Men i motsats till den beräkningstransparens som Bayesian approachs åtnjuter, de teoretiska principer som styr hur även enkla artificiella neurala nätverk extraherar semantisk kunskap från deras pågående ström av erfarenhet, bädda in denna kunskap i deras synaptiska vikter, och använda dessa vikter för att utföra induktiv generalisering, förblir dunkel. I detta arbete är vårt grundläggande mål att fylla denna lucka genom att anställa en ytterst enkel klass av neurala nätverk, nämligen djupa linjära nätverk. Förvånansvärt nog finner vi att denna modellklass kvalitativt kan redogöra för en mångfald av fenomen som innefattar semantisk kognition som beskrivs ovan. Vi bygger på en betydande neural nätverk litteratur [30][31][32][33][34][35][36][37] ta itu med sådana fenomen genom simuleringar av mer komplexa icke-linjära nätverk. Vi bygger särskilt på den integrativa, simuleringsbaserade behandlingen av semantisk kognition [4], ofta med samma modelleringsstrategi i en enklare linjär uppsättning, för att få liknande resultat men med ytterligare analytisk insikt. Till skillnad från tidigare arbete, oavsett om det är konceptuellt, Bayesian, eller connectionist, är vår enkla modell den första som tillåter exakta analytiska lösningar som beskriver hela utvecklingsbanan för kunskapsinhämtning och organisation, och dess efterföljande inverkan på spridning och neural representation av semantisk struktur. I det följande beskriver vi var och en av dessa aspekter av semantisk kunskapsinhämtning, organisation, spridning och neural representation i följd, och vi sammanfattar våra huvudsakliga resultat i diskussionen. Här överväger vi ett ramverk för att analysera hur neurala nätverk extraherar abstrakt semantisk kunskap genom att integrera många individuella erfarenheter av objekt och deras egenskaper, över utvecklingstid. I varje erfarenhet, med tanke på ett objekt som ingång, tränas nätverket att korrekt producera sina tillhörande egenskaper eller funktioner som utgång. Tänk till exempel på nätverkets interaktion med livets semantiska domän, schemalagd i Fig. Detta beslut träder i kraft den tjugonde dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. Om nätverket stöter på ett objekt, t.ex. en Canary, producerar perceptuella neurala kretsar en aktivitetsvektor x  på R N 1 som identifierar detta objekt och fungerar som ingång till det semantiska systemet. Samtidigt observerar nätverket några av objektets egenskaper, till exempel att en kanariefågel kan flyga. Neurala kretsar producerar en aktivitet funktion vektor y  på R N 3 av det objektets egenskaper som fungerar som önskad utgång av det semantiska nätverket. Med tiden upplever nätverket många enskilda episoder med en mängd olika objekt och deras egenskaper. Den totala insamlade erfarenhet som tillhandahålls av miljön till det semantiska systemet är således en uppsättning P exempel x i, y i, i = 1,..., P, där ingång vektorn x i identifierar objekt i, och utgången vektor y i är en uppsättning funktioner som ska associeras med detta objekt. Nätverkets uppgift är att förutsäga objektets egenskaper y från dess perceptuella representation x. Dessa förutsägelser genereras av prop- För att prova en funktion värde över objekt, rot noden är slumpmässigt inställd till ±1, nästa detta värde diffuserar till barn noder, där dess tecken vänder med en liten sannolikhet e. Blad noden tilldelningar ger värdet av denna funktion på varje post. För att generera fler funktioner upprepas processen självständigt N gånger. b) Analytiskt härledda indatasärskilda vektorer (upp till en skala) av de resulterande uppgifterna, beställda uppifrån och ner med singularvärde. Läge 1 är en nivå 0 funktion på trädet, läge 2 är nivå 1, 3 och 4 är nivå 2, medan steg 5 till 8 är nivå 3. Singular lägen som motsvarar breda distinktioner (högre nivåer) har de största singular värden, och därför kommer att läras först. c) Utdatans kovarians består av hierarkiskt organiserade block. adressera utdata yμ, μ = 1,...,P. Varje yμ är en Ndimensionell vektor där varje egenskap i till exempel μ tar värdet y μ i = ±1. Värdet av varje egenskap i över alla exempel uppstår från en förgrening diffusionsprocess som sker på ett träd (se t.ex. Bilda. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Varje funktion jag genomgår sin egen diffusionsprocess på trädet, oberoende av någon annan funktion j. Hela denna process, som beskrivs nedan, ger en hierarkisk struktur på uppsättningen av exempel μ = 1,..., P, som är i en-till-ett korrespondens med bladen på trädet. Trädet har en fast topologi, med D nivåer indexeras av l = 0,..., D 1, med Ml total noder på nivå l. Vi tar för enkelhet en regelbunden förgrening struktur, så att varje nod på nivå l har exakt Bli ättlingar. Således Ml = M0Pl 1 k=0Bl. Trädet har en enda rotnod högst upp (M0 = 1), och återigen P blad längst ner, ett per exempel i datauppsättningen (MD 1 = P). Med tanke på en enda funktionskomponent i bestäms dess värde över P-exemplen enligt följande. Rita först en slumpmässig variabel h(0) i samband med rotnoden högst upp i trädet. Variabeln h(0) tar värdena ±1 med lika stor sannolikhet 1 2. Därefter, för var och en av B0 ättlingar under rot noden på nivå 1, plocka en slumpmässig variabel h i tar värdet h(0) med sannolikhet 1 e och h(0) med sannolikhet e. Processen fortsätter ner trädet: var och en av Bl 1 noder på nivå l med en gemensam förfader på nivå l 1 tilldelas dess förfader värde med sannolikhet 1 e, eller tilldelas negativa av dess förfader värde med sannolikhet e. Således det ursprungliga funktionsvärdet på roten, h(0), diffuserar ner trädet med en liten sannolikhet e att förändras på varje nivå längs någon väg till ett blad. De slutliga värdena vid P-bladen utgör funktionsvärdena y μ i för μ = 1,..., P. Denna process upprepas självständigt för N-funktionskomponenter. För att förstå variationens dimensioner i funktionsvektorerna, anser vi att den inre produkten, eller överlappning, mellan två exempel funktionsvektorer. Denna inre produkt, normaliserad av antalet funktioner N, har en väldefinierad gräns som N! •............................................................................................ Dessutom, på grund av den hierarkiska diffusa processen som genererar data, den normaliserade inre produkten beror endast på nivån på det träd på vilket den första gemensamma förfadern till de två bladen i samband med de två exemplen uppstår. Därför kan vi göra definitionen där igen, den första gemensamma förfadern till bladen μ1 och μ2 uppstår på nivå k. Det är möjligt att explicit beräkna qk för den generativa modell som beskrivs ovan, som ger Det är tydligt att överlappningen qk minskar strikt när nivån k av den sista gemensamma förfadern minskar (dvs.. avståndet upp för trädet till den sista gemensamma förfadern ökar). Således par av exempel med en nyare gemensam förfader har starkare överlappning än par av exempel med en mer avlägsen agiterande aktivitet genom en tre skikt linjära neurala nätverk (Fig. 1B)................................................................................................ Inmatningsaktivitetsmönstret x i det första lagret förökar sig genom en synapsviktmatris W 1 i storlek N2 × N1, för att skapa ett aktivitetsmönster h = W 1 x i det andra lagret av N2-neuroner. Vi kallar detta lager det "dolda" lagret eftersom det varken motsvarar input eller output. Den dolda lageraktiviteten förökar sig sedan till det tredje lagret genom en andra synapsviktmatris W 2 av storlek N3 × N2, som producerar en aktivitetsvektor på = W 2 h som utgör utdataprognosen för nätverket. Den sammansatta funktionen från ingång till utgång är alltså helt enkelt = W 2 W 1 x. För varje indata x, nätverket jämför sin förutsagda utdata med de observerade funktionerna y och det justerar sina vikter för att minska skillnaden mellan y och på. För att studera effekten av djupet, kommer vi att kontrastera inlärningsdynamiken i detta djupa linjära nätverk till den av ett grunt nätverk som har bara en enda vikt matris, W s i storlek N3 × N1 länka input aktiviteter direkt till nätverkets förutsägelser på = W s x. Vid första inspektionen kan det tyckas som om det inte finns någon som helst nytta av att överväga djupa linjära nätverk, eftersom sammansättningen av linjära funktioner förblir linjär. De djupa nätverkens dragningskraft tros ligga i de allt mer uttrycksfulla funktioner som de kan representera genom att successivt kaskadera många lager av ickelinjära element [38, 39]. Däremot får djupa linjära nätverk ingen uttryckskraft från djupet; ett grunt nätverk kan beräkna alla funktioner som det djupa nätverket kan, genom att helt enkelt ta W s = W 2 W 1. Som vi ser nedan är emellertid inlärningsdynamiken i det djupa nätverket mycket icke-linjär, medan inlärningsdynamiken i det grunda nätverket förblir linjär. Påfallande, många komplexa, icke-linjära funktioner i lärandet visas även i djupa linjära nätverk, och kräver inte neuronal icke-linjäritet. Som en illustration av kraften hos djupa linjära nätverk för att fånga inlärningsdynamik även i icke-linjära nätverk, jämför vi de två inlärningsdynamiken i Bild. 2............................................................... Bilda. 2A visar en lågdimensionell visualisering av den simulerade inlärningsdynamiken i ett flerskiktat icke-linjärt neuralt nätverk tränat för att förutsäga egenskaperna hos en uppsättning objekt i en semantisk domän av djur och växter (detaljer av neural arkitektur och träningsdata kan hittas i [4]). Det ickelinjära nätverket uppvisar en slående, hierarkisk progressiv differentiering av strukturen i sina interna dolda representationer, där djur kontra växter först särskiljs, sedan fåglar kontra fisk, och träd kontra blommor, och slutligen enskilda objekt. Detta anmärkningsvärda fenomen väcker viktiga frågor om de teoretiska principer som styr den hierarkiska differentieringen av strukturen i neurala nätverk. I synnerhet, hur och varför konspirerar nätverkets dynamik och den statistiska strukturen av inputen för att skapa detta fenomen? På bild. 2B vi matematiskt härleda detta fenomen genom att hitta analytiska lösningar på den icke-linjära dynamiken av lärande i ett djupt linjärt nätverk, när detta nätverk exponeras för en hierarkiskt strukturerad semantisk domän, vilket ger betydande teoretisk insikt om ursprunget till hierarkisk differentiering i ett djupt nätverk. Vi presenterar härledningen nedan, men för tillfället noterar vi att likheten mellan Fig. 2A och Bild. 2B föreslår att djupa linjära nätverk kan bilda en utmärkt, analytiskt dragbar modell för att sprida begreppsmässig insikt i inlärningsdynamiken, om inte den uttryckskraft, hos sina icke-linjära motsvarigheter. Vi börjar nu en kontur av den härledning som leder till Fig. Detta beslut träder i kraft den tjugonde dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. Den inkrementella felkorrigeringsprocessen som beskrivs ovan kan formaliseras som online stokastisk lutning nedstigning; varje gång ett exempel i presenteras, vikterna W 2 och W 1 justeras med en liten mängd i den riktning som mest snabbt minskar kvadratfelet y i − till i 2, vilket ger standard bakåtutbredning lär regeln där λ är en liten inlärningshastighet. Vi visar att det är möjligt att utvinna en sådan abstrakt domänstruktur under förutsättning att lärandet sker gradvis, med en liten inlärningshastighet λ. I detta system kan man se många exempel innan vikterna förändras märkbart, så lärandet drivs av domänens statistiska struktur. Vi föreställer oss att träningen är uppdelad i en sekvens av lärande epoker. I varje epok följs ovanstående regel för alla P-exempel i slumpmässig ordning. Därefter medelvärde [ 1 ] över alla P exempel och ta en kontinuerlig tidsgräns ger den genomsnittliga förändringen i vikter per lärande epok, där är en N3 × N1 input-output korrelationsmatris, och τ 1 P λ (se SI för detaljerad härledning). Här mäter t tiden i enheter av lärande epoker; eftersom t varierar från 0 till 1, nätverket har sett P exempel som motsvarar en lärande epok. Dessa ekvationer visar att inlärningsdynamiken i även i vårt enkla linjära nätverk kan vara mycket komplex: den andra ordningen statistik av ingångar och utgångar driver synaptiska viktförändringar genom kopplade icke-linjära differentialekvationer med upp till kubiska interaktioner i vikterna. Explicit lösningar från tabula rasa. Dessa icke-linjära dynamiker är svåra att lösa för godtyckliga initiala förhållanden på synapsvikter. Vi är dock intresserade av en viss gräns: att lära av ett tillstånd av i grunden ingen kunskap, som vi modellerar som små slumpmässiga synapsvikter. För att ytterligare underlätta analysen, kommer vi att anta att inflytandet av perceptuella korrelationer är minimal ( på x  på I). Vårt grundläggande mål är alltså att förstå dynamiken i lärandet i (2)-(3) som en funktion av input-output korrelationsmatrisen  på yx. Inlärningsdynamiken är nära besläktad med termer i den singular value decomposition (SVD) av  ska yx (Fig. 3A), som bryter någon matris i produkten av tre matriser. Var och en av dessa matriser har en distinkt semantisk tolkning. Till exempel kan α'th kolonn v α i N1 ×N1 ortogonal matris V betraktas som en objektanalysator vektor; det bestämmer position objektet i längs en viktig semantisk dimension α i träningen som genom komponenten v α i. För att illustrera denna tolkning konkret överväger vi ett enkelt exempel på dataset med fyra objekt (Kanariefågel, lax, ek och ros) och fem egenskaper (Fig. 3)............................................................... De två djuren delar egendomen kan flytta, medan de två växterna inte gör det. Även varje objekt har en unik egenskap: kan flyga, kan simma, har Bark, och har Petals. För denna datauppsättning, medan den första raden av V T är ett enhetligt läge, den andra raden, eller den andra objektanalysatorn vektor v 2, bestämmer var objekt sitter på en djur-växt dimension, och därmed har positiva värden för Kanarieöarna och lax och negativa värden för växterna. De andra dimensioner som identifierats av SVD är en fågel-fisk dimension, och en blomma-träd dimension. Motsvarande α'th kolonn u α i den ortogonala matrisen N3 × N3 U kan betraktas som en funktionssyntesizervektor för semantisk distinktion α. Det är komponenter u α m anger i vilken utsträckning funktion m förekommer eller saknas i distinktion α. Därför funktionen synthesizer u 2 i samband med den djur-växt semantiska dimensionen har positiva värden för Flytta och negativa värden för Roots, eftersom djur normalt kan röra sig och inte har rötter, medan växter beter sig motsatt. Slutligen N3 × N1 singular value matris S har nonzero element sα, α = 1,...., N1 endast på diagonalen, beställd så att s1 ≥ s2 ≥ · · · ≥ sN 1. sα fångar den totala styrkan i sambandet mellan α'th input och utgående dimensioner. Det stora singularvärdet för djur-växtdimensionen återspeglar det faktum att denna dimension förklarar mer av träningssetet än de finare dimensionerna som fågel-fisk och blomträd. Med tanke på SVD i träningssetets input-output korrelationsmatris i (4) kan vi nu uttryckligen beskriva nätverkets inlärningsdynamik. Nätverkets övergripande input-output-karta vid tiden t är en tidsberoende version av SVD-nedbrytningen (Fig. 3B) ; det delar objektanalysatorn och funktionen synthesizer matriser av SVD av  på yx, men ersätter singular värdematris S med en effektiv singular värdematris A(t), där banan för varje effektivt singular värde aα(t) lyder Eqn. 6 beskriver en sigmoidal bana som börjar vid något initialvärde a 0 α vid tidpunkten t = 0 och stiger till sα som t → ∞, som ritas i bild. Detta beslut träder i kraft den tjugonde dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. Denna lösning är tillämplig när nätverket börjar som en tabula rasa, eller ett odifferentierat tillstånd med liten initial kunskap, motsvarande små slumpmässiga initialvikter (se SI för härledning), och den ger en korrekt beskrivning av inlärningsdynamiken i detta system, vilket bekräftas av simulering i bild. Detta beslut träder i kraft den tjugonde dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. Denna lösning ger också insikt i hur de interna representationerna i det dolda lagret av det djupa nätverket utvecklas. En exakt lösning för W 2 och W 1 ges genom att Q är en godtycklig N2 × N2 inverterbar matris (SI-tillägg). Om de initiala vikterna är små, kommer matrisen Q att vara nära ortogonal, dvs Q  på R där R T R = I. Således de interna representationerna specificeras upp till en godtycklig rotation R. Factoring ut rotationen, den dolda representationen av objektet i är [ 8 ] Således interna representationer utvecklas över tiden genom att projicera ingångar till fler och fler input-output lägen som de lärs. Det grunda nätverket har en lösning av analog form, bα(t) u α v αT, men nu varje singular värde utvecklas som I motsats till det djupa nätverkets sigmoidal bana, Eqn. 9 beskriver en enkel exponentiell inflygning från utgångsvärdet b 0 α till sα, som figurerad i bild. 3D. Vad är det för fel på dig? Djupet förändrar därför i grunden inlärningens dynamik, vilket ger flera viktiga konsekvenser nedan. Snabbt stadium som övergångar på grund av djup. Vi jämför först den tidsförlopp av lärande i djupa kontra grunda nätverk som avslöjas i Eqns. (6) och (9). För det djupa nätet, med början från ett litet initialt tillstånd en 0 α =, varje läge effektiva singular värde aα (t) stiger till inom dess slutliga värde sα i tid i gränsen → 0 (SI-bilaga). Detta är O(1/sα) upp till en logaritmisk faktor. Därför lär man sig snabbare lägen med starkare förklarande kraft, som kvantifieras av det unika värdet. Dessutom, när man utgår från små initiala vikter, kan den sigmoida övergången från ingen kunskap om läget till perfekt kunskap vara godtyckligt skarp. Förhållandet mellan den tid som tillbringas i övergångsordningen för sigmoider och den tid som tillbringas innan övergången görs kan gå till oändlighet när de ursprungliga vikterna går till noll (se SI-bilagan). På så sätt kan snabbt stadium som övergångar i lärandet vara vanligt även i djupa linjära nätverk. Tidsskalan för lärande för det grunda nätverket är däremot O(1) upp till en logaritmisk faktor. Därför i ett grunt nätverk, tidsskalan för att lära sig ett läge beror endast svagt på dess tillhörande singular värde. I huvudsak alla lägen lärs samtidigt, med en exponentiell snarare än sigmoidal inlärningskurva. Progressiv differentiering av hierarkisk struktur. Vi är nu nästan i stånd att förklara hur vi analytiskt härledde resultatet i Fig. Detta beslut träder i kraft den tjugonde dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. Den enda kvarvarande ingrediensen är en matematisk beskrivning av träningsdata. De numeriska resultaten i figur från en leksaksutbildning, vilket gör det svårt att förstå vilka aspekter uppgifterna var nödvändiga för den hierarkiska inlärningsdynamiken. Här inför vi en probabilistisk generativ modell för hierarkiskt strukturerade data, för att gå bortom leksaksdataset för att ta fram allmänna principer för hur statistisk struktur påverkar lärandet. Vi använder en generativ modell (inledd i [40]) som efterliknar evolutionsprocessen för att skapa en datauppsättning med explicit hierarkisk struktur (se SI Appendix). I modellen, varje funktion diffuserar ner ett evolutionärt träd (Fig. 4A), med en liten sannolikhet att mutera längs varje gren. Objekten ligger på bladen av trädet, och den generativa processen skapar en hierarkisk likhetsmatris mellan objekt så att objekt med en nyare gemensam förfader på trädet är mer lik varandra (Fig. 4B)............................................................... Vi beräknade analytiskt SVD i denna hierarkiska datauppsättning och vi fann att objektanalysatorvektorerna, som kan ses som funktioner på bladen på trädet i Bild. 4C respektera de hierarkiska grenarna av trädet, med de större (mindre) singular värden som motsvarar bredare (finare) distinktioner. Dessutom, i bild. 4A Vi har artificiellt märkt bladen och grenarna av det evolutionära trädet med organismer och kategorier som kan återspegla ett naturligt förverkligande av denna evolutionära process. Sätt in de unika värdena i bild. 4D (och SI-bilaga) in i den djupa inlärningsdynamiken i Eq. 6 för att erhålla de tidsberoende singularvärdena a α (t), och sedan infoga dessa tillsammans med objektanalysatorerna vektorer v α i bild. 4C till Eq. 8. Vi får en fullständig analys av utvecklingen av interna representationer över utvecklingstiden i det djupa nätverket. En MDS-visualisering av dessa utvecklande dolda representation ger sedan bild. 2B, som kvalitativt rekapitulerar det mycket mer komplexa nätverk och dataset som ledde till Bild. Detta beslut träder i kraft dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. I huvudsak kompletterar denna analys ett matematiskt bevis på att den slående progressiva differentieringen av hierarkin som observerats i Fig. 2 är en oundviklig följd av djup inlärningsdynamik, även i linjära nätverk, när den utsätts för hierarkiskt strukturerade data. Den väsentliga intuitionen är att dimensioner av funktionsvariationer mellan objekt som motsvarar bredare (finare) hierarkiska distinktioner har starkare (svagare) statistisk struktur, vilket kvantifieras av de enskilda värdena i träningsdata, och därför dessa dimensioner lärs snabbare (slower), vilket leder till vågor av differentiering i ett djupt, men inte ett grunt nätverk. Ett sådant mönster av hierarkisk differentiering har länge hävdats vara tillämpligt på spädbarns och barns begreppsmässiga utveckling [1,[5][6][7]. Illustrativa samband. En annan intressant aspekt av den semantiska utvecklingen är att barn ibland vittnar om falska trosuppfattningar (dvs. maskar har ben [2]) som inte kunde ha lärts genom direkt erfarenhet. Dessa fel utmanar enkla associationistiska berättelser om semantisk utveckling som skulle förutsäga en stadig, monoton ackumulering av information om enskilda egenskaper [2, 16, 17, 41]. Men ändå, som det visas i bild. 5, Nätverkets kunskap om enskilda egenskaper uppvisar komplexa, icke-monotoniska banor under lärandets gång. Den övergripande prognosen för en fastighet är en summa av contri-Fig. 5A, de första två lägen gör ett positivt bidrag medan den tredje gör en negativ en, vilket ger den inverterade U-formade banan. Varje egenskap-punkt kombination för vilken u α m v α i tar olika tecken över olika α kommer att uppvisa en icke-monoton inlärningskurva, vilket gör sådana kurvor en frekvent förekomst även i en fast, oföränderlig miljö. I ett djupt nätverk, två lägen med singular värden som skiljer sig åt med  och kommer att ha ett intervall där den första lärs men den andra inte. Längden på detta utvecklingsintervall är ungefär O( ska) (SI-bilaga). Dessutom accentuerar snabbheten i det djupa nätverkets scenliknande övergångar ytterligare det icke-monotoniska lärandet av individuella egenskaper. Detta beteende, som kan tyckas svårt att förena med en inkrementell, felkorrigerande inlärningsprocess, är en naturlig konsekvens av att minimera globala snarare än lokala förutsägelser fel: den snabbaste möjliga förbättringen i att förutsäga alla egenskaper över alla objekt ibland resulterar i en övergående ökning av storleken på fel på specifika objekt och egenskaper. Varje fastighet i ett grunt nätverk, däremot, monotont närmar sig sitt rätta värde och därför grunt nätverk bevisligen aldrig uppvisar illusoriska korrelationer (SI Appendix). Vi vänder oss nu från inlärningens dynamik till dess slutresultat. När de utsätts för en mängd olika objekt och egenskaper som är kopplade till varandra av en underliggande hierarki, till exempel, vilka kategorier uppstår naturligt? Vilka punkter är särskilt representativa för en kategorisk åtskillnad? Och hur representeras domänens struktur internt? Kategorimedlemskap, typiska egenskaper och prototyper. En lång observerad empirisk upptäckt är att kategorimedlemskap inte bara är en logisk, binär variabel, utan snarare en graderad kvantitet, med vissa objekt är mer eller mindre typiska medlemmar i en kategori (dvs. en sparv är en mer typisk fågel än en pingvin). Sådana graderade bedömningar av kategorimedlemskap är både mycket reproducerbara mellan individer [8, 9] och korrelerar dessutom med utförandet av en rad uppgifter: ämnen snabbare verifierar kategorimedlemskapet för mer typiska poster [10, 11], påminner oftare om typiska exempel på en kategori [12] och utökar lättare ny information om typiska poster till alla medlemmar i en kategori [13, 14]. Vår teoretiska ram ger en naturlig matematisk definition av objekttypicitet som både förklarar hur den framträder ur den statistiska strukturen i miljön och förbättrar uppgifternas prestanda. En naturlig uppfattning om den typiska egenskapen hos en post i för en kategorisk distinktion α är helt enkelt kvantiteten v α i motsvarande objektanalysatorvektor. För att se varför detta är naturligt, notera att efter inlärning, neurala nätverkets inre representation utrymme har en semantisk distinktion axel α, och varje objekt jag placeras längs denna axel vid en koordinat proportional till v [ Följaktligen under vår definition av typiskitet, en artikel i som är mer typisk än en annan post j kommer att ha  på  på  på  på >  påv α j, och därmed kommer nödvändigtvis att ha en större svarsstorlek under Eq. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Alla prestandamått som är monotona i svaret kommer därför att öka för mer typiska poster enligt denna definition. Därför är vår definition av objekttypicitet både en matematiskt väldefinierad funktion av den statistiska strukturen av erfarenhet, genom SVD, och på ett bevisligt sätt korrelerar med uppgiften prestanda i vårt nätverk. Flera tidigare försök att definiera ett objekts typiska egenskaper innebär att man beräknar en viktad summa av kategorispecifika egenskaper som förekommer eller saknas i posten [8, 15, [42][43][44]. En sparv är till exempel en mer typisk fågel än en pingvin, eftersom den har mer relevanta drag (kan flyga) med andra fåglar. Det specifika valet av vilka egenskaper som är relevanta – vikterna i den viktade summan av egenskaper har dock ofta valts och förlitats på tidigare kunskaper om vilka poster som hör till varje kategori [8, 43]. Vår definition av typiska egenskaper kan också beskrivas i termer av en viktad summa av ett objekts egenskaper, men viktningarna bestäms unikt av statistiken över hela miljön genom SVD (se SI-bilagan): som gäller för alla i, m och α. Här, objekt i definieras av sin funktion vektor o i  på R N 3, där komponenten o i m kodar värdet av dess m th funktionen. Således den typiska v α i objektet i i distinktion α kan beräknas genom att ta en viktad summa av komponenterna i dess egenskap vektor o i, där viktningarna är exakt koefficienterna för motsvarande funktion synthesizer vektor u α (skalas av det ömsesidiga av singular värdet). Eq:s neurala geometri. 13 illustreras i bild. 6 när α motsvarar den kategoriska skillnaden mellan fågel och fisk. I många teorier om typiska, den särskilda viktningen av objekt funktioner motsvarar ett prototypiskt objekt [3, 15], eller det bästa exemplet på en viss kategori. Sådana objektprototyper erhålls ofta med ett vägt genomsnitt över funktionsvektorerna för objekten i en kategori (dvs. Om man till exempel jämför alla fåglars egenskaper med varandra, får man en uppsättning drag som de delar med sig av. Ett sådant genomsnitt bygger dock på förkunskaper om i vilken utsträckning ett föremål tillhör en kategori. Vårt teoretiska ramverk ger också en naturlig uppfattning om objektprototyper som ett vägt genomsnitt av objektfunktionsvektorer, men till skillnad från många andra ramar, ger det ett unikt recept för objektets viktningar i termer av den statistiska strukturen i miljön genom SVD (SI-bilaga): [ 14 ] Således funktionen synthesizer u α, själv kan betraktas som en kategori prototyp för distinktion α, eftersom det kan erhållas genom ett vägt medelvärde av alla objektfunktionsvektorer o i, där viktningen av objektet i är ingen annan än den typiska v α i objektet i distinktion α. I huvudsak anger varje element u α m av prototypvektorn hur viktig funktion m är för distinktion α (Fig. 6).................................................................. Bilda. 6............................................................. Geometrin för objekttypiskhet. För en semantisk distinktion α (i detta fall α är skillnaden fågel-fisk) objektanalysatorn vektor v α i arrangerar objekt i längs en inre neural representation utrymme där de mest typiska fåglarna tar extrem positiva koordinater, och de mest typiska fiskar ta extrem negativa koordinater. Objekt som en ros, som varken är en fågel eller en fisk, ligger nära ursprunget på denna axel. Positioner längs den neurala semantiska axeln kan också erhållas genom att beräkna den inre produkten mellan funktionen vektor o i för objekt i och funktionen synthesizer u α som i (13). Dessutom kan u α betraktas som en kategoriprototyp för semantisk distinktion α till och med (14). En MDS-visualisering av utvecklingen av dess interna representationer avslöjar 3 kluster. (C) Genom att beräkna SVD av produkten av synaptiska vikter W 2 W 1, Vi kan extrahera nätverkets objektanalysatorer v α och funktion synthesizers u α, hitta 3 med stora singular värden sα, för α = 1,.., 3. Var och en av dessa 3 objektanalysatorer v α och funktionssynteser u α tar stora värden på en delmängd av objekt respektive funktioner, och vi kan använda dem för att beställa raderna och kolumnerna i (A) för att erhålla (C). Denna omordning avslöjar underliggande struktur i data som motsvarar 3 separata kategorier, så att om en funktion och objekt tillhör en kategori, funktionen är närvarande med stor sannolikhet p, medan om det inte, det visas med en låg sannolikhet q. Sammanfattningsvis uppstår en vacker och enkel dualitet mellan objekttypiska prototyper och kategoriprototyper som en framträdande egenskap hos de inlärda interna representationerna av det neurala nätverket. Ett objekts typiska egenskaper bestäms av projektionen av objektets egenskapsvektorn på kategoriprototypen i (13). Och kategoriprototypen är ett genomsnitt över alla objektfunktionsvektorer, viktade efter deras typiska egenskaper i (14). I varje kategorisk åtskillnad α bestäms dessutom de mest typiska punkterna i och de viktigaste egenskaperna m av de yttersta värdena för v Kategorikonsistens. De kategorier vi lär oss är naturligtvis inte godtyckliga, utan i stället på sätt och vis sammanhängande, och representerar effektivt världens struktur [8, 15, 16]. Till exempel, uppsättningen av saker som är röda och inte kan simma, är en väl definierad kategori, men intuitivt är inte lika sammanhängande som kategorin Hundar; vi lär oss naturligtvis, och även namn, den senare kategorin, men inte den förra. När får man överhuvudtaget lära sig en kategori, och vad är det som avgör dess samstämmighet? Ett inflytelserikt förslag [8, 15] föreslog att sammanhängande kategorier består av snäva grupper av objekt som delar många funktioner, och dessutom skiljer sig mycket från andra kategorier med olika uppsättningar av delade funktioner. En sådan definition, som anges i [3, 16, 17] kan vara cirkulär: för att veta vilka poster som är kategorimedlemmar, måste man veta vilka egenskaper som är viktiga för denna kategori, och omvänt, för att veta vilka egenskaper som är viktiga, måste man veta vilka poster som är medlemmar. Således har en matematisk definition av kategorisammanhållning, som en funktion av den statistiska strukturen i miljön, som bevisligen är relaterad till inlärningsförmågan hos kategorier av neurala nätverk, förblivit svårfångad. Här ger vi en sådan definition för en enkel modell av separata kategorier, och visar hur neurala nätverk kan skära genom gordiska knut av cirkuläritet. Vår definition och teori motiveras av, och överensstämmer med, tidigare nätverkssimuleringar som utforskar begrepp om kategorikonsistens genom en sammanhållen kovariation av funktioner [4]. Tänk till exempel på en datauppsättning som består av Inga objekt och N f-funktioner. Nu överväga en kategori som består av en delmängd av K f-funktioner som tenderar att inträffa med hög sannolikhet p i en delmängd av Ko-poster, medan en bakgrundsfunktion inträffar med en lägre sannolikhet q i en bakgrundsartikel p när antingen inte är en del av kategorin. För vilka värden av K f, K0, p, q, N f och N0 kan en sådan kategori läras, och i så fall, hur exakt? Bilda. 7A-D illustrerar till exempel hur ett neuralt nätverk kan extrahera 3 sådana kategorier begravda i bakgrundsljudet. Vi ser i Fig. 7E att prestandan för kategori extraktion ökar när antalet poster K0 och funktioner K f i kategorin ökar, och även när signal-till-brus-förhållandet, eller SNR. Genom slumpmässig matristeori (SI Appendix) visar vi att prestanda beror på de olika parametrarna endast genom en kategorikonsistensvariabel Bild. 9................................................................ Representation av explicita strukturella former i ett neuralt nätverk. Varje kolumn visar en annan struktur. De fyra första kolumnerna motsvarar rena strukturella former, medan den sista kolumnen har tvärgående struktur. Första raden: Strukturen på den data som genererar probabilistisk grafisk modell (PGM). Andra raden: Den resulterande postens kovariansmatris som härrör från antingen data som hämtats från PGM (de första fyra kolumnerna) eller som konstruerats för hand (slutkolumnen). Tredje raden: De input-analysing singular vektorer som kommer att läras av linjära neurala nätverket. Varje vektor skalas av sin singularitet värde, visar sin betydelse för att representera covariansmatrisen. Fjärde raden: MDS bild av utvecklingen av interna representationer. 6 När prestandakurvorna är i bild. 7E återställs med kategorikonsistens C på den horisontella axeln, alla kurvor kollapsar på en enda allmän prestandakurva som visas i bild. 7F. -Vad är det för fel på dig? Vi härleder ett matematiskt uttryck för denna kurva i SI-bilagan. Det visar en intressant tröskel beteende: om samstämmigheten C ≤ 1, kategorin inte lärs alls, och ju högre samstämmighet över denna tröskel, desto bättre kategorin lärs. Denna tröskel är påfallande släpphänt. Till exempel, vid SNR = 1, förekommer det vid K0K f = N0N f. Således i en stor miljö av No = 1000 objekt och N f = 1600 funktioner, som i Bild. 7A, en liten kategori av 40 objekt och 40 funktioner kan lätt läras, även genom ett enkelt djupt linjärt nätverk. Dessutom visar denna analys hur det djupa nätverket löser problemet med cirkuläritet beskrivs ovan genom att samtidigt bootstrappa lärande av objektanalysatorer och funktion synthesizers i dess synapsvikter. Slutligen noterar vi att definitionen av kategorisammanhållning i ekv. (15) är kvalitativt överensstämmande med tidigare begrepp; sammanhängande kategorier består av stora undergrupper av objekt som med stor sannolikhet har stora undergrupper av funktioner som tenderar att inte sammanfalla i andra kategorier. Vår kvantitativa definition har dock fördelen att den visar sig styra kategorin lärande prestanda i ett neuralt nätverk. Grundläggande kategorier. När det gäller sammanhållen kategori har en rad olika studier av namngivning avslöjat en privilegierad roll för grundläggande kategorier på en mellannivå av specificitet (dvs. Fågel), jämfört med överordnad (dvs. Djur) eller underordnad (dvs. Robin) nivåer. På denna grundläggande nivå är människor snabbare på att lära sig namn [45, 46], föredrar att generera namn [46] och är snabbare att verifiera närvaron av namngivna objekt i bilder [11, 46]. Vi noterar att basnivåfördelar vanligtvis innebär att namnge uppgifter som gjorts vid en högre ålder, och behöver därför inte vara oförenliga med progressiv differentiering av kategorisk struktur från överordnad till underordnad nivå som avslöjas i preverbal kognition [1,[4][5][6][7] 47]. Dessutom nämns vissa poster oftare än andra, och dessa frekvenseffekter skulle kunna bidra till en grundläggande fördel [4]. Men i artificiella inlärningsförsök där frekvenserna är tätt kontrollerade, lär man sig fortfarande ofta grundläggande nivåkategorier först [48]. Vilka statistiska egenskaper hos miljön kan leda till denna grundläggande nivå effekt? Medan flera egenskaper har lagts fram i litteraturen [11.42.44.48], har en matematisk funktion av miljöstruktur som bevisligen ger en grundläggande fördel till neurala nätverk förblivit svårfångad. Här tillhandahåller vi en sådan funktion genom att generalisera begreppet kategorisammanhållning C i föregående avsnitt till hierarkiskt strukturerade kategorier. I alla datauppsättningar som innehåller en stark kategorisk struktur, så att dess unika vektorer är i en och samma överensstämmelse med kategoriska distinktioner, föreslår vi helt enkelt att man definierar samstämmigheten i en kategori efter det tillhörande singularvärdet. Denna definition har fördelen av att lyda teoremet att mer sammanhängande kategorier lärs snabbare, genom Eq. 6 )................................................................................................................ Dessutom visar vi i SI-bilagan att denna definition överensstämmer med definitionen av kategorikonsekvens C som definieras i ekv. (15) För specialfall av separata kategorier. För hierarkiskt strukturerade kategorier som i figuren 4, Denna singular value definition förutsäger alltid en fördel för överordnade kategorier, i förhållande till grundläggande eller underordnad. Finns det en alternativ statistisk struktur för hierarkiska kategorier som ger hög kategorisammanhållning på lägre nivåer i hierarkin? Vi ställer ut två sådana strukturer i Bild. 8............................................................... Mer allmänt, i SI-bilagan, beräknar vi analytiskt de enskilda värdena på varje nivå i hierarkin när det gäller objektens likhetsstruktur. Vi finner dessa singular värden är en viktad summa av inom kluster likhet minus mellan kluster likhet för alla nivåer nedan, viktad av den bråkdel av objekt som är ättlingar till den nivån. Om det på någon nivå, mellan klusterlikhet är negativt, som minskar samstämmigheten mellan överordnade kategorier, bidrar starkt till samstämmigheten mellan kategorier på den nivån, och inte bidrar till underordnade kategorier. Den unika värdebaserade definitionen av kategorikonsistens är därför kvalitativt förenlig med tidigare intuitiva begrepp. Till exempel, parafrasing Keil (1991), sammanhängande kategorier är kluster av täta buntar av funktioner åtskilda av relativt tomma utrymmen [17]. Dessutom, i överensstämmelse med [3, 16, 17], Vi noterar att vi inte kan bedöma samstämmigheten i en kategori utan att veta om dess relationer till alla andra kategorier, eftersom enskilda värden är en komplex framväxande egenskap i hela miljön. Men utöver tidigare intuitiva begrepp gör vår kvantitativa definition av kategorisammanhållning baserad på enskilda värden det möjligt för oss att visa att sammanhängande kategorier är enklast och snabbt inlärda, och även på ett bevisligt sätt ger den mest exakta och effektiva linjära representationen av miljön, på grund av SVD:s globala optimala egenskaper (se SI-bilaga för detaljer). Upptäcka och representera explicita strukturer. Medan vi har fokuserat på hierarkisk struktur, kan världen innehålla många olika typer av abstrakta strukturer. Hur lär sig och kodas dessa olika strukturer av neurala nätverk? En bekväm formalisering av miljöstrukturen kan specificeras i termer av en probabilistisk grafisk modell (PGM), definierad av en graf över objekt (Fig. 9 topp) som kan uttrycka en mängd olika strukturella former som ligger till grund för en domän, inklusive kluster, träd, ringar, rutnät, beställningar och hierarkier. Funktioner tilldelas objekt genom oberoende provtagning från PGM (se [29] och SI-bilagan), så att närliggande objekt i grafen är mer benägna att dela funktioner. För var och en av dessa strukturella former, i gränsen för ett stort antal funktioner, beräknade vi objekt-punkt covariance matriser (Fig. 9 andra raden), objektanalysator vektorer ( Bild. 9 tredje raden) och singular värden av den resulterande input-output korrelationsmatrisen, och vi använde dem i vår inlärningsdynamik i Eq. 6 att beräkna utvecklingen av nätverkets interna representationer genom Eq. 8. Vad är det som händer? Dessa evolverande dolda representationer visas i (Fig. 9 nederst)............................................................... Sammantaget ger detta tillvägagångssätt flera insikter i hur distinkta strukturella former, genom sin olika statistik, driver lärandet i ett djupt nätverk, som sammanfattas nedan: Kluster. Grafer som bryter objekt i distinkta kluster ger upphov till blockdiagonal konstant matriser, vilket ger objekt-analysator vektorer som väljer klustermedlemskap. Träd. Träddiagram ger upphov till ultrametriska covariansmatriser, vilket ger objekt-analysator vektorer som är trädstrukturerade vågetter som speglar den underliggande hierarkin [49, 50]. Ringar och rutnät. Ringstrukturerade grafer ger upphov till cirkulära covariansmatriser, vilket ger objektanalyserande vektorer som är Fourier-lägen beställda från lägsta till högsta frekvens [51]. Beställningar. Diagram som transitivt beställa objekt ger mycket strukturerad, men icke-standard, covariance matriser vars objekt analysatorer koda beställningen. Övergripande struktur. Verkliga domäner behöver inte ha en enda underliggande strukturell form. Till exempel, medan vissa egenskaper hos djur och växter i allmänhet följer en hierarkisk struktur, kan andra egenskaper som hane och hona länka samman hierarkiskt olika objekt. Sådan tvärgående struktur kan vara ortogonal till den hierarkiska strukturen, vilket ger objekt-analyzer vektorer som spänner hierarkiska distinktioner. I huvudsak återspeglar dessa resultat en analytisk koppling mellan två mycket populära, men olika, metoder för att fånga struktur: PGM:s och djupa nätverk. Denna allmänna analys överskrider detaljerna i varje datauppsättning, och visar hur olika abstrakta strukturer blir inbäddade i de interna representationerna av ett djupt neuralt nätverk. Under utvecklingens gång omformar den kunskap som barn skaffat sig kraftfullt sina induktioner när de stöter på nya föremål och egenskaper [2, 3]. När till exempel barn lär sig ett nytt faktum (t.ex. "en kanariefågel är varmblodig") utvidgar de denna nya kunskap till relaterade föremål, vilket framgår av deras svar på frågor som "är en robin varmblodig?" Studier av induktiva projektioner har visat att barns svar på sådana frågor förändras under utvecklingens gång [2, 3, [17] [18] [19], vilket i allmänhet blir mer specifikt med åldern. Till exempel, små barn kan lätt projicera den nya egenskapen varmblodiga till avlägset besläktade objekt, medan äldre barn bara projicera den till närmare besläktade objekt. Hur kan sådana förändrade mönster av induktiv generalisering uppstå i ett neuralt nätverk? Här, som bygger på tidigare nätverkssimuleringar av induktiv projektion [4, 31], visar vi analytiskt att djupa nätverk som utsätts för hierarkiskt strukturerade data, naturligt ger gradvis minskande mönster av induktiv projektion över hela utvecklingen. Tänk på hur man lär sig att ett bekant föremål har ett nytt inslag (t.ex. "en tall har egendom x"). För att tillgodose denna kunskap måste nya synapsvikter väljas mellan den välbekanta furun och den nya egenskapen x (Fig. 10A), utan att störa tidigare kunskap om objekt och deras egenskaper som redan lagras i nätverket. Detta kan åstadkommas genom att endast justera vikterna från det dolda lagret till den nya funktionen för att aktivera den på lämpligt sätt. Med dessa nya vikter etablerade, induktiva projektioner av den nya funktionen till andra välkända objekt (t.ex. "Har en ros egendom x?") naturligt uppstår genom att fråga nätverket med andra ingångar. Om en ny egenskap m är tillskriven en bekant post i, den induktiva projektionen av denna egenskap till någon annan post j ges av (se SI Bilaga), Denna ekvation genomför en likhetsbaserad induktiv projektion av den nya egenskapen till andra poster, där likheten metrisk är exakt den euklideiska likheten av dolda representationer av par av objekt (Fig. 10B)................................................................................................ I huvudsak, som får höra "en tall har egendom x", kommer nätverket lättare projicera den nya egenskapen x till de välbekanta objekt vars dolda representationer är nära den av tallen. En parallell situation uppstår när man lär sig att ett nytt objekt har en välbekant egenskap (t.ex. "en blixt kan röra sig", Bild. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Att koda denna kunskap kräver nya synapsvikter mellan objektet och det dolda lagret. Lämpliga vikter kan hittas genom standard gradient nedstigning inlärning av den objekt-till-dolda vikter för denna nya post, medan hålla de dolda-till-utput vikter fast för att bevara förkunskaper om funktioner. Nätverket kan sedan induktivt projicera andra välbekanta egenskaper till det nya objektet (t.ex., "Har en blixt ben?") genom att helt enkelt skapa en funktionsutmatningsvektorn som svar på det nya objektet som indata. Enligt detta system kommer en ny post i med en välbekant funktion m att tilldelas en annan välbekant egenskap n genom ekvationen (SI-bilagan), där α th-komponenten i hn är h kan betraktas som den dolda representationen av funktionen n vid utvecklingstid t. Parallellt med (16) genomför denna ekvation nu likhetsbaserad induktiv projektion av välbekanta funktioner till en ny post. I huvudsak, att få höra "en blixt kan flytta", nätverket kommer mer lätt att projicera andra välbekanta funktioner till en blixt, om dessa funktioner har en liknande inre representation som funktionen flytta. På så sätt ger det dolda lagret av det djupa nätverket ett gemensamt, semantiskt representationsutrymme i vilket både funktioner och föremål kan placeras. När en ny funktion m tilldelas ett bekant objekt i, den nya funktionen placeras nära det bekanta objektet i det dolda lagret, och så nätverket kommer induktivt projicera denna nya funktion till andra objekt nära i i i neural utrymme. Parallellt, när en ny post i tilldelas en bekant funktion m, den nya objekt placeras nära den bekanta funktionen, och så nätverket kommer induktivt projicera andra funktioner nära m i neural utrymme, på den nya objektet. Denna princip om likhetsbaserad generalisering inkapslad i Eqns. 16 och 17, i kombination med den gradvisa differentieringen av interna representationer över utvecklingstiden då nätverket exponeras för hierarkiskt strukturerade data, som illustreras i bild. 2B, sedan naturligt förklarar förskjutningen i mönster av induktiva projektion från bred till specifik över hela utvecklingen, som visas i Bild. 10E............................................................................................................ Betrakta till exempel specifikt den induktiva projektionen av en ny funktion till bekanta objekt (Fig. Kommissionens genomförandeförordning (EU) nr 668/2014 av den 13 juni 2014 om tillämpningsföreskrifter för Europaparlamentets och rådets förordning (EU) nr 1151/2012 om kvalitetsordningar för jordbruksprodukter och livsmedel (EUT L 179, 19.6.2014, s. Tidigare (senare) i utvecklingstid, neurala representationer av alla objekt är mer lik (olika från) varandra, och så nätverk likhet baserad induktiv projektion kommer att utvidga den nya funktionen till många (färre) objekt, vilket uppvisar gradvis smalare mönster av induktiv projektion som respekterar den hierarkiska likheten struktur i miljön (Fig. 10E)........................................................................................................... Således anmärkningsvärt, även ett djupt linjärt nätverk kan bevisligen uppvisa samma breda till specifika förändringar i mönster av induktiv projektion som empiriskt observeras i många verk [2, 3, 17, 18]. Representativ likhetsmatris  på h. Nedersta raden: Beteendemässig likhetsmatris. För små-norm, men inte stora-norm vikt initialiseringar, representationell likhet bevaras och beteendemässig likhet speglar neural likhet.  Jämfört med tidigare modeller som främst har gjort beteendeprognoser, har vår teori en tydlig neural tolkning. Här diskuterar vi konsekvenserna för den neurala basen av semantisk kognition. Likvärdighetsstrukturen är en invariant av optimalt lärande. En inflytelserik metod för att undersöka neurala koder för semantisk kunskap i empiriska mätningar av neural aktivitet är den representationella likheten tillvägagångssätt (RSA) [20, 21, 28, 52], som undersöker likheten struktur neural population vektorer som svar på olika stimuli. Denna teknik har identifierat en rik struktur i synkortikoser på hög nivå, där t.ex. livlösa föremål är differentierade från animerade föremål [22] [23] [24] [25] [26]. Påfallande nog har studier funnit en anmärkningsvärd kontinuitet mellan neurala likhetsstrukturer mellan människor och även mellan människor och apor [27, 28]. Denna starkt bevarade likhetsstruktur uppstår trots betydande variationer i neurala aktivitetsmönster mellan individer [53,54]. Genom att utnyttja likhetsstrukturen blir det möjligt att på ett effektivare sätt avkoda fMRI-data över ämnesgränserna i förhållande till överföringen av en dekoder baserad på noggrann anatomisk anpassning [55]. Varför bevaras representativ likhet, både mellan individer och arter, trots mycket varierande inställning av enskilda neuroner och anatomiska skillnader? Anmärkningsvärt är att vi visar att två nätverk som är utbildade i samma miljö måste ha identiska representationsmatriser trots att de har detaljerade skillnader i neurala stämmönster, förutsatt att inlärningsprocessen är optimal, i den meningen att den ger den minsta normvikt som löser uppgiften (se SI Appendix för en härledning). Ett sätt att komma nära den optimala grenen av synaptiska vikter av minsta norm efter lärande, är att börja lära sig från små slumpmässiga inledande vikter. Vi visar i bild. 11AB att två nätverk, var och en från olika uppsättningar av små slumpmässiga inledande vikter, kommer efter utbildning lära sig mycket olika interna representationer (Fig. 11AB översta raden) men kommer att ha nästan identiska representationsmatriser (bild. 11AB mittrad). Ett sådant resultat är dock inte obligatoriskt. Två nätverk som utgår från stora slumpmässiga initialvikter lär sig inte bara olika interna representationer, utan också olika representationsmatriser (Fig. 11CD övre och mellersta rader). Detta par av nätverk båda lär sig samma sammansatta ingångskarta, men med suboptimala stora-norm vikter. Därför kan vår teori, i kombination med det empiriska konstaterandet att likhetsstruktur bevaras över människor och arter, spekulativt tyda på att alla dessa olikartade neurala kretsar kan genomföra en ungefär optimal inlärningsprocess i en gemensam miljö. När hjärnan speglar beteendet. Förutom att matcha neural likhet mönster över försökspersoner, experiment med hjälp av fMRI och enstaka enhet svar har också dokumenterat en korrespondens mellan neural likhet mönster och beteende likhet mönster [21]. När speglar neural likhet beteendelikhet? Vi visar att denna korrespondens återigen dyker upp endast i optimala nätverk. I synnerhet, betecknar av på den beteendemässiga utmatningen av nätverket som svar på objekt i. Dessa utdatamönster ger beteendelikviditetsmatrisen ij =. I kontrast, den neurala likhetsmatrisen är... h ij = h T i hj där hi är den dolda representationen av stimulans i. Vi visar i SI Appendix att om nätverket lär sig optimala minsta normvikter, då dessa två likhetsmatriser lyda förhållandet [ 18 ] Dessutom visar vi de två matriser dela samma singular vektorer. Därför beteendelikhet mönster delar samma struktur som neural likhet mönster, men med varje semantisk distinktion uttryckt mer starkt (enligt kvadraten av dess singular värde) i beteendet i förhållande till den neurala representationen. Även om denna exakta matematiska relation är ännu inte testas i detalj, vissa bevis pekar på denna större kategori separation i beteende [27]. Med tanke på att optimal inlärning är en förutsättning för neural likhet speglar beteendelikhet, som i föregående avsnitt, det finns en match mellan de två för par av nätverk tränas från små slumpmässiga inledande vikter (Fig. 11AB mitten och nedre rader), men inte för par av nätverk tränas från stora slumpmässiga inledande vikter (Fig. 11CD mitten och nedre rader). Återigen, spekulativt, tyder vår teori på att den experimentella observationen av en koppling mellan beteendemässig och neural likhet i själva verket kan tyda på att lärande i hjärnan är att hitta optimala nätverkslösningar som effektivt implementerar de nödvändiga omvandlingarna med minimal synaptiska styrkor. Sammanfattningsvis är det viktigaste bidraget från vårt arbete analys av en enkel modell, nämligen ett djupt linjärt neuralt nätverk, som, överraskande, kvalitativt kan fånga en mängd olika fenomen i semantisk utveckling och kognition. Våra exakta analytiska lösningar av ickelinjära inlärningsfenomen i denna modell ger begreppsmässiga insikter i varför sådana fenomen också förekommer i mer komplexa ickelinjära nätverk [4,[31][32][33][34][35][36][37] tränade för att lösa semantiska uppgifter. I synnerhet finner vi att den hierarkiska differentieringen av interna representationer i ett djupt, men inte ett grunt, nätverk (Fig. 2) är en oundviklig följd av det faktum att enskilda värden av input-output korrelationsmatrisen driver tidpunkten för snabba utvecklingsövergångar (Fig. 3 och Eqns. (6) och (10
2. Utgångspunkten är följande: Vi anser REF som det närmaste relaterade arbetet, vi återanvända deras uppfattning om enkla djupa linjära neurala nätverk, som vi kallar två lager neurala nätverk, och använda vissa delar av deras bevis för att utöka sina resultat.
A mathematical theory of semantic development in deep neural networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Medicine', 'Biology', 'Mathematics']}