Neurovetenskap och artificiell intelligens (AI) har en lång och sammanflätad historia. På senare tid har dock kommunikation och samarbete mellan de två områdena blivit mindre vanligt förekommande. I den här artikeln hävdar vi att bättre förståelse av biologiska hjärnor kan spela en viktig roll när det gäller att bygga intelligenta maskiner. Vi undersöker historiska interaktioner mellan AI och neurovetenskap fält och betonar aktuella framsteg i AI som har inspirerats av studien av neural beräkning i människor och andra djur. Vi avslutar med att lyfta fram gemensamma teman som kan vara avgörande för framtida forskning inom båda områdena. Under de senaste åren har snabba framsteg gjorts inom de relaterade områdena neurovetenskap och artificiell intelligens (AI). I början av dataåldern var arbetet med AI oupplösligt sammanflätat med neurovetenskap och psykologi, och många av de tidiga pionjärerna strövade båda områdena, med samarbeten mellan dessa discipliner som visade sig vara mycket produktiva (Churchland och Sejnowski, 1988; Hebb, 1949; Hinton et al., 1986; Hopfield, 1982; McCulloch och Pitts, 1943, Turing, 1950). Men på senare tid har samspelet blivit mycket mindre vanligt, eftersom båda ämnena har vuxit enormt i komplexitet och disciplinära gränser har befästs. I denna översyn argumenterar vi för den kritiska och pågående betydelsen av neurovetenskap för att generera idéer som kommer att accelerera och vägleda AI-forskning (se Hassabis kommentar i Brooks et al., 2012). Vi börjar med antagandet att bygga mänsklig nivå allmän AI (eller "Turing-powerful" intelligenta system; Turing, 1936) är en skrämmande uppgift, eftersom sökområdet för möjliga lösningar är vidsträckt och sannolikt endast mycket glest befolkad. Vi hävdar därför att detta understryker nyttan av att granska den mänskliga hjärnans inre funktioner - det enda befintliga beviset för att en sådan intelligens till och med är möjlig. Studera djur kognition och dess neural implementation har också en viktig roll att spela, eftersom det kan ge ett fönster in i olika viktiga aspekter av högre nivå allmän intelligens. Fördelarna med att utveckla AI att noggrant undersöka biologisk intelligens är tvåfaldiga. För det första ger neurovetenskapen en rik inspirationskälla för nya typer av algoritmer och arkitekturer, oberoende av och komplement till de matematiska och logikbaserade metoder och idéer som till stor del har dominerat traditionella metoder för AI. Till exempel, om en ny aspekt av biologisk beräkning visade sig vara avgörande för att stödja en kognitiv funktion, då skulle vi betrakta det som en utmärkt kandidat för integrering i artificiella system. För det andra kan neurovetenskap ge validering av AI-tekniker som redan finns. Om en känd algoritm senare visar sig vara implementerad i hjärnan, då är det ett starkt stöd för dess trovärdighet som en integrerad komponent i ett övergripande allmänt intelligenssystem. Sådana ledtrådar kan vara avgörande för ett långsiktigt forskningsprogram när man bestämmer var man ska fördela resurser mest produktivt. Till exempel, om en algoritm inte helt uppnår den prestandanivå som krävs eller förväntas, men vi observerar att det är kärnan i hjärnans funktion, då kan vi anta att fördubblade tekniska insatser inriktade på att få det att fungera i artificiella system är sannolikt att löna sig. Naturligtvis behöver vi från ett praktiskt perspektiv för att bygga upp ett AI-system inte på ett slaviskt sätt se till att man följer den biologiska rimligheten. Ur ett ingenjörsperspektiv är det som fungerar i slutändan allt som betyder något. För våra syften är alltså biologisk rimlighet en vägledning, inte ett strikt krav. Vad vi är intresserade av är en system neuroscience-nivå förståelse av hjärnan, nämligen algoritmer, arkitekturer, funktioner, och representationer som den använder. Detta motsvarar ungefär de två översta nivåerna av de tre nivåer av analys som Marr berömda anges krävs för att förstå alla komplexa biologiska system (Marr och Poggio, 1976) : målen i systemet (beräkningsnivån) och processen och beräkningar som inser detta mål (den algoritmiska nivån). De exakta mekanismer genom vilka detta fysiskt realiseras i ett biologiskt substrat är mindre relevanta här (genomförandenivån). Observera att det är här vår inställning till neuroscience-inspirerad AI skiljer sig från andra initiativ, såsom Blue Brain Project (Markram, 2006) eller området neuromorphic computing systems (Esser et al., 2016), som försöker att nära efterlikna eller direkt vända ingenjör specifika neurala kretsar (om än med olika mål i åtanke). Genom att fokusera på beräknings- och algoritmnivåerna får vi överförbara insikter i generella mekanismer för hjärnfunktion, samtidigt som vi lämnar utrymme för att tillgodose de distinkta möjligheter och utmaningar som uppstår när vi bygger intelligenta maskiner i Silico. Följande avsnitt packar upp dessa punkter genom att beakta det förflutna, nuet och framtiden för AI-neuroscience-gränssnittet. Innan vi börjar erbjuder vi ett klargörande. I hela denna artikel använder vi termerna "neuroscience" och "AI". Vi använder dessa termer i vidaste möjliga bemärkelse. När vi säger neurovetenskap, vi menar att inkludera alla fält som är involverade i studien av hjärnan, de beteenden som den genererar, och de mekanismer genom vilka den gör det, inklusive kognitiv neurovetenskap, system neurovetenskap och psykologi. När vi säger AI menar vi arbete inom maskininlärning, statistik och AI-forskning som syftar till att bygga intelligenta maskiner (Legg och Hutter, 2007). Vi börjar med att överväga ursprunget till två områden som är avgörande för aktuell AI-forskning, djupt lärande och förstärkande lärande, som båda tog rot i idéer från neurovetenskap. Vi vänder oss sedan till det aktuella läget i AI-forskningen och noterar många fall där inspiration har dragits (ibland utan uttryckligt erkännande) från begrepp och rön inom neurovetenskap. I detta avsnitt betonar vi särskilt fall där vi har kombinerat djupt lärande med andra metoder från hela maskininlärning, såsom förstärkning lärande, Monte Carlo trädsökning (Silver et al., 2016) eller tekniker som innebär ett externt innehåll-adresserbart minne. Nästa, vi överväger potentialen för neurovetenskap för att stödja framtida AI-forskning, tittar på både de mest sannolika forskningsutmaningar och några framväxande neurovetenskap-inspirerade AI-tekniker. Medan vårt huvudsakliga fokus kommer att vara på potentialen för neurovetenskap för att gynna AI, kommer vår sista avsnitt kortfattat överväga hur AI kan vara till hjälp för neurovetenskap och den bredare potentialen för synergistiska interaktioner mellan dessa två områden. Som beskrivs i ett antal senaste recensioner, AI har revolutionerats under de senaste åren genom dramatiska framsteg i neurala nätverk, eller "" djup inlärning, "" metoder (LeCun et al., 2015; Schmidhuber, 2014). Som monikern ''neural nätverk'' kan antyda, ursprunget till dessa AI-metoder ligger direkt i neurovetenskap. På 1940-talet, undersökningar av neural beräkning började med byggandet av konstgjorda neurala nätverk som kunde beräkna logiska funktioner (McCulloch och Pitts, 1943). Inte långt därefter, andra föreslagna mekanismer genom vilka nätverk av neuroner kan lära sig stegvis via övervakning feedback (Rosenblatt, 1958) eller effektivt koda miljöstatistik på ett oövervakat sätt (Hebb, 1949). Dessa mekanismer öppnade upp området artificiell neurala nätverk forskning, och de fortsätter att utgöra grunden för samtida forskning om djupt lärande (Schmidhuber, 2014). Inte långt efter detta banbrytande arbete, kunde utvecklingen av backpropagation algoritmen lära sig att inträffa i nätverk som består av flera lager (Rumelhart et al., 1985; Werbos, 1974). I synnerhet, konsekvenserna av denna metod för att förstå intelligens, inklusive AI, först uppskattades av en grupp neuroforskare och kognitiva forskare, arbetar under fanan av parallell distribuerad bearbetning (PDP). Vid den tiden var de flesta AI-forskningen fokuserad på att bygga logiska bearbetningssystem baserade på seriell beräkning, ett förhållningssätt inspirerat delvis av föreställningen att mänsklig intelligens innebär manipulering av symboliska representationer (Haugeland, 1985). Men det fanns en växande känsla i vissa kretsar att rent symboliska metoder kan vara alltför sköra och oflexibla för att lösa komplexa verkliga problem av det slag som människor rutinmässigt hanterar. Istället tycktes en växande kunskapsbas om hjärnan peka i en helt annan riktning och belysa rollen av stokastisk och mycket parallelliserad informationsbearbetning. Baserat på detta föreslog PDP-rörelsen att mänsklig kognition och beteende uppstår från dynamiska, distribuerade interaktioner inom nätverk av enkla neuronliknande processenheter, interaktioner avstämda genom inlärningsförfaranden som justerar systemparametrar för att minimera fel eller maximera belöningen. Även om PDP metoden först tillämpades på relativt småskaliga problem, visade det slående framgång i att redovisa ett brett spektrum av mänskliga beteenden (Hinton et al., 1986). Längs vägen introducerade PDP-forskningen en mångfald av idéer som har haft ett bestående inflytande på AI-forskningen. Till exempel, aktuella maskinöversättning forskning utnyttjar uppfattningen att ord och meningar kan representeras på ett distribuerat sätt (dvs. som vektorer) (LeCun et al., 2015), en princip som redan var inrotad i tidiga PDP-inspirerade modeller av mening bearbetning (St. John och McClelland, 1990). Baserat på PDP rörelsens vädjan till biologisk beräkning, nuvarande toppmoderna konvolutionella neurala nätverk (CNNs) innehåller flera kanoniska kännetecken för neural beräkning, inklusive icke-linjär transduktion, divisiv normalisering, och maximal baserad poolning av ingångar. Dessa operationer var direkt inspirerade av encellsinspelningar från däggdjurens visuella cortex som avslöjade hur visuell ingång filtreras och poolas i enkla och komplexa celler i området V1 (Hubel och Wiesel, 1959). Dessutom, nuvarande nätverk arkitekturer replikera den hierarkiska organisationen av däggdjur kortikala system, med både konvergerande och divergerande informationsflöde i på varandra följande, häckade bearbetning lager (Krizjevsky et al., 2012; LeCun et al., 1989; Riesenhuber och Poggio, 1999; Serre et al., 2007), efter idéer först avancerade i tidiga neurala nätverk modeller av visuell bearbetning (Fukushima, 1980). I både biologiska och artificiella system omvandlar på varandra följande icke-linjära beräkningar rå visuell input till en alltmer komplex uppsättning funktioner, vilket tillåter objektigenkänning som är invarianta till omvandlingar av pose, belysning, eller skala. När området för djupinlärning utvecklades ur PDP-forskningen till ett kärnområde inom AI, stärktes det av nya idéer, såsom utvecklingen av nätverk för djup tro (Hinton et al., 2006) och införandet av stora datauppsättningar inspirerade av forskning om mänskligt språk (Deng et al., 2009). Under denna period fortsatte den att hämta viktiga idéer från neurovetenskapen. Till exempel, biologiska överväganden informerade utvecklingen av framgångsrika legaliseringsprogram som stöder generalisering utöver utbildningsdata. Ett sådant system, i vilket endast en undergrupp av enheter deltar i behandlingen av ett givet utbildningsexempel ("dropout"), motiverades av den stokasticitet som är inneboende i biologiska system befolkade av neuroner som brinner med Poisson-liknande statistik (Hinton et al., 2012). Här och på annat håll har neurovetenskap gett initial vägledning mot arkitektoniska och algoritmiska begränsningar som leder till framgångsrika neurala nätverksapplikationer för AI. Vid sidan av sin viktiga roll i utvecklingen av fördjupat lärande har neurovetenskapen också bidragit till att bygga upp en andra pelare av samtida AI, vilket stimulerar framväxten av området för förstärkande lärande (RL). RL-metoder tar upp problemet med hur man maximerar framtida belöningar genom att kartlägga tillstånd i miljön till åtgärder och är bland de mest använda verktygen i AI-forskning (Sutton och Barto, 1998 Neuron Review inspirerad av forskning om djurinlärning. I synnerhet, utvecklingen av temporal-skillnad (TD) metoder, en kritisk komponent i många RL modeller, var oupplösligt sammanflätad med forskning om djurs beteende i konditionering experiment. TD-metoder är realtidsmodeller som lär sig av skillnader mellan tidsbundna på varandra följande förutsägelser, snarare än att behöva vänta tills den faktiska belöningen levereras. Av särskild betydelse var en effekt som kallas andra ordningen konditionering, där affektiv betydelse ges en konditionerad stimulans (CS) genom association med en annan CS snarare än direkt via association med den okonditionerade stimulans (Sutton och Barto, 1981). TD-inlärning ger en naturlig förklaring till andra ordningens konditionering och har faktiskt fortsatt att förklara ett mycket bredare spektrum av fynd från neurovetenskap, som vi diskuterar nedan. Här, som i fallet med djupt lärande, undersökningar initialt inspirerade av observationer från neurovetenskap ledde till ytterligare utveckling som starkt har format inriktningen av AI-forskning. Från deras neuroscience-informerade ursprung, TD-metoder och relaterade tekniker har gått vidare för att leverera kärntekniken för senaste framsteg i AI, allt från robotisk kontroll (Hafner och Riedmiller, 2011) till expertspel i backgammon (Tesauro, 1995) och Go (Silver et al., 2016). När man läser den samtida AI-litteraturen får man intrycket att det tidigare engagemanget för neurovetenskap har minskat. Men om man skrapar på ytan, kan man avslöja många fall där den senaste tidens utveckling har inspirerats och vägletts av neurovetenskapliga överväganden. Här tittar vi på fyra specifika exempel. Uppmärksamhet Hjärnan lär sig inte genom att implementera en enda global optimeringsprincip inom ett enhetligt och odifferentierat neuralt nätverk (Marblestone et al., 2016). I stället är biologiska hjärnor modulära, med distinkta men interagerande delsystem som ligger till grund för viktiga funktioner som minne, språk och kognitiv kontroll (Anderson m.fl., 2004; Sallice, 1988). Denna insikt från neurovetenskap har importerats, ofta på ett outtalat sätt, till många områden av nuvarande AI. Ett belysande exempel är den senaste tidens AI arbete på uppmärksamhet. Fram till ganska nyligen har de flesta CNN-modeller arbetat direkt på hela bilder eller videoramar, med samma prioritet ges till alla bild pixlar i det tidigaste skedet av bearbetning. Det primära visuella systemet fungerar annorlunda. Snarare än att bearbeta all input i parallell, visuell uppmärksamhet skiftar strategiskt mellan platser och objekt, centrerar bearbetning resurser och representationskoordinater på en serie regioner i sin tur (Koch och Ullman, 1985; Moore och Zirnsak, 2017; Posner och Petersen, 1990). Detaljerade neurocomputational modeller har visat hur denna bitmeal tillvägagångssätt gynnar beteende, genom att prioritera och isolera den information som är relevant vid varje given tidpunkt (Olshausen et al., 1993; Salinas och Abbott, 1997). Som sådan, uppmärksamhetsmekanismer har varit en källa till inspiration för AI-arkitekturer som tar ''glimpses'' av inmatningsbilden vid varje steg, uppdatera interna tillstånd representationer, och sedan välja nästa plats att ta prov (Larochelle och Hinton, 2010; Mnih et al., 2014) (Figur 1A ). Ett sådant nätverk kunde använda denna selektiva uppmärksamhetsmekanism för att ignorera irrelevanta objekt i en scen, så att det kan utföra väl i utmanande objekt klassificering uppgifter i närvaro av skräp (Mnih et al., 2014). Dessutom gjorde uppmärksamhetsmekanismen det möjligt för beräkningskostnaden (t.ex. antal nätverksparametrar) att skala gynnsamt med storleken på indatabilden. Utökningar av detta tillvägagångssätt visades senare att producera imponerande prestanda vid svåra multi-objekt erkännande uppgifter, överträffa konventionella CNNs som behandlar hela bilden, både när det gäller noggrannhet och beräkningseffektivitet (Ba et al., 2015), samt förbättra bild-till-kaptionsgenerering (Xu et al., 2015). Även om uppmärksamhet vanligtvis ses som en orienteringsmekanism för perception, kan dess ""spotlight"" också fokuseras internt, mot innehållet i minnet. Denna idé, en nyligen fokuserad i neurovetenskap studier (Sommerfield et al., 2006), har också inspirerat arbete i AI. I vissa arkitekturer har uppmärksamhetsmekanismer använts för att välja information som ska läsas ut från nätverkets interna minne. Detta har bidragit till att ge nya framgångar i maskinöversättning (Bahdanau et al., 2014) och ledde till viktiga framsteg på minne och resonemang uppgifter. Dessa arkitekturer erbjuder en ny implementering av innehåll-adresser hämtning, som i sig var ett koncept som ursprungligen infördes till AI från neurovetenskap (Hopfield, 1982). Ytterligare ett område av AI där uppmärksamhetsmekanismer nyligen har visat sig användbara fokuserar på generativa modeller, system som lär sig att syntetisera eller ''imagine'' bilder (eller andra typer av data) som efterliknar strukturen av exempel som presenteras under utbildningen. Djupa generativa modeller (dvs, generativa modeller implementeras som flerskiktade neurala nätverk) har nyligen visat slående framgångar i att producera syntetiska utgångar som fångar form och struktur av verkliga visuella scener genom införlivandet av uppmärksamhet-liknande mekanismer (Hong et al., 2015; Reed et al., 2016). Till exempel, i en state-of-the-art generative modell som kallas Draw, uppmärksamhet gör det möjligt för systemet att bygga upp en bild gradvis, som tar hand om en del av en ''mental canvas'' i taget (Gregor et al., 2015). Episodiskt minne Ett kanoniskt tema inom neurovetenskap är att intelligent beteende bygger på flera minnessystem (Tulving, 1985). Dessa kommer att omfatta inte bara förstärkningsbaserade mekanismer, som gör det möjligt att lära sig värdet av stimuli och åtgärder stegvis och genom upprepade erfarenheter, utan också exempelbaserade mekanismer, som gör det möjligt att snabbt koda erfarenheter (i "ett skott") i en innehållsadresserad butik (Gallistel och King, 2009 ). Den senare formen av minne, känd som episodic minne (Tulving, 2002), är oftast associerad med kretsar i den mediala temporal loben, framträdande inklusive hippocampus (Squire et al., 2004). Ett nyligen genombrott i AI har varit den framgångsrika integrationen av RL med djupt lärande Silver et al., 2016). Till exempel, den djupa Q-nätverk (DQN) uppvisar expertspel på Atari 2600 videospel genom att lära sig att omvandla en vektor av bild pixlar till en policy för att välja åtgärder (t.ex. joystick rörelser). En viktig ingrediens i DQN är ''erfarenhet replay'', där nätverket lagrar en delmängd av träningsdata på ett instansbaserat sätt, och sedan ''replays'' det offline, lära sig på nytt från framgångar eller misslyckanden som inträffat i det förflutna. Erfarenhet replay är avgörande för att maximera dataeffektivitet, undvika neuron 95, juli 19, 2017 247 Neuron Review destabiliserande effekter av lärande från på varandra följande korrelerade erfarenheter, och gör det möjligt för nätverket att lära sig en livskraftig värdefunktion även i komplexa, mycket strukturerade sekventiella miljöer som videospel. Kritiskt, erfarenhet replay var direkt inspirerad av teorier som försöker förstå hur flera minnessystem i däggdjurshjärnan kan interagera. Enligt en framträdande uppfattning stöds djurens lärande av parallella eller "kompletterande" inlärningssystem i hippocampus och neokortex McClelland m.fl., 1995). Hippocampus verkar för att koda ny information efter en enstaka exponering (enshot learning), men denna information konsolideras gradvis till neokortex i sömn eller viloperioder som interleaved med perioder av aktivitet. Denna konsolidering åtföljs av repris i hippocampus och neokortex, vilket ses som ett återinförande av de strukturerade mönster av neural aktivitet som åtföljde inlärningshändelsen (O'Neill et al., 2010; Skaggs och McNaughton, 1996) (Figur 1B ). Denna teori föreslogs ursprungligen som en lösning på det välkända problemet att i konventionella neurala nätverk, korrelerad exponering för sekventiella aktivitetsinställningar leder till ömsesidig interferens mellan politik, vilket resulterar i katastrofal glömska av en uppgift som en ny är (Mnih et al., 2014). Med tanke på en ingångsbild (x t ) och foveal plats (l t À 1 ) extraherar glimten sensorn en multiupplösning ''retinal'' representation (r(x t, l t À 1 ) ). Detta är indata till en glimt nätverk, som producerar en representation som skickas till LSTM kärna, som definierar nästa plats att delta i (l t ) (och klassificering beslut). (B) Schematisk beskrivning av kompletterande inlärningssystem och tillfällig kontroll. Överst: icke-parametrisk snabbinlärning hippocampal system och parametrisk slow-learning neokortical system (dvs. parametrisk: ett fast antal parametrar; icke-parametrisk: antalet parametrar kan växa med mängden data). Hippocampus / instans-baserat system stöder snabb beteendejustering (dvs. episodisk kontroll; Blundell et al., 2016) och erfarenhet replay, som stöder interleaved träning (dvs. på slumpmässiga undergrupper av erfarenheter) av djupa neurala nätverk eller neokortex. Nederst: episodisk kontroll (från Blundell et al., 2016). Speltillstånd (Atari visas) lagras i buffertar (en för varje möjlig åtgärd) tillsammans med den högsta (diskonterade) avkastning som upplevs från detta tillstånd (dvs Q-värde). När du upplever ett nytt tillstånd, är policyn (p) bestäms genom att genomsnitt Q-värdet över k närmaste grannar i varje åtgärd buffert och välja åtgärden med den högsta förväntade avkastningen. (C) Illustration av paralleller mellan makroskopisk organisation av modeller av arbetsminne och den differentierade neurala datorn (Graves et al., 2016) (eller Neural Turing Machine). Nätverksregulatorn (vanligtvis recidiverande) är jämförbar med den centrala executive (vanligen betraktas som instanted in the prefrontal cortex) och deltar/läser/skriver till en extern minnesmatris (fonologisk loo / sketchpad i arbetsminnesmodell). Arkitektur visas utföra kopieringsuppgift. (D) Illustration av parallellen mellan neurobiologiska modeller av synapskonsolidering och algoritmen för elastisk viktkonsolidering (EWC). Vänster: två-foton strukturell avbildning data visar lärande-relaterad ökning av storleken på dendriter (var och en motsvarar ungefär en enda excitatorisk synaps) som består i månader (från Yang et al., 2009). Mitten: schema över Cascade modell för synaps konsolidering (anpassad med tillstånd från Fusi et al., 2005). Binary synapses övergång mellan metaplastiska tillstånd som är mer / mindre plast (minst plasttillstånd längst ner i diagrammet), som en funktion av föregående potentiation / depression händelser. Höger panel: schematisk av elastisk vikt konsolidering (EWC) algoritm. Efter träning på den första uppgiften (A), är nätverksparametrar optimerade för bra prestanda: enkelvikt (w 1 A * illustrerad). EWC implementerar en begränsning som liknar en fjäder som förankrar vikter till den tidigare funna lösningen (dvs. för uppgift A), vid träning på en ny uppgift (t.ex. uppgift B), med fjäderns styvhet proportionell mot vikten av parametern för uppgift A prestanda (Kirkpatrick et al., 2017). 248 Neuron 95, 19 juli 2017 Neuron Review lärde sig. Reprisbufferten i DQN kan därför ses som en mycket primitiv hippocampus, vilket möjliggör kompletterande lärande i silico i stort sett som föreslås för biologiska hjärnor. Senare arbete visade att fördelarna med erfarenhet replay i DQN förbättras när repris av mycket givande händelser prioriteras (Schaul et al., 2015), precis som hippocampal replay verkar gynna händelser som leder till höga nivåer av förstärkning (Singer och Frank, 2009). Erfarenheter som lagras i en minnesbuffert kan inte bara användas för att gradvis justera parametrarna i ett djupt nätverk mot en optimal policy, som i DQN, men kan också stödja snabba beteendeförändringar baserat på en individuell erfarenhet. Teoretisk neurovetenskap har argumenterat för de potentiella fördelarna med episodisk kontroll, varigenom belönade handlingssekvenser kan aktiveras internt från en snabbt uppdaterabar minneslager, implementeras i det biologiska fallet i hippocampus (Gershman och Daw, 2017). Dessutom visar normativa redovisningar att tillfällig kontroll är särskilt fördelaktig jämfört med andra inlärningsmekanismer när begränsad erfarenhet av miljön har erhållits (Lengyel och Dayan, 2007). Den senaste AI-forskningen har utnyttjat dessa idéer för att övervinna de långsamma inlärningsegenskaperna hos djupa RL-nätverk, utveckla arkitekturer som implementerar episodisk kontroll. Dessa nätverk lagrar specifika erfarenheter (t.ex. åtgärder och belöningsresultat förknippade med särskilda Atari-spelskärmar) och väljer nya åtgärder baserade på likheten mellan nuvarande situationsinput och tidigare händelser lagrade i minnet, med beaktande av belöningen i samband med tidigare händelser (figur 1B ). Som förutspått från den inledande, neuroscience-baserat arbete (Lengyel och Dayan, 2007), artificiella medel som använder episodisk kontroll visar slående vinster i prestanda över djupa RL-nätverk, särskilt tidigt under lärandet. Dessutom kan de uppnå framgång på uppgifter som är starkt beroende av endop-inlärning, där typiska djupa RL-arkitekturer misslyckas. Dessutom har episodiska minnessystem i allmänhet visat sig vara mycket lovande när det gäller att snabbt kunna lära sig nya begrepp utifrån bara några få exempel. I framtiden kommer det att vara intressant att utnyttja fördelarna med snabbt episodiskt minne och mer traditionellt inkrementellt lärande i arkitekturer som införlivar båda dessa komponenter inom ett samspelande ramverk som speglar de kompletterande inlärningssystemen i däggdjurshjärnan. Vi diskuterar dessa framtidsperspektiv mer i detalj senare, i "Imagination och planering". Working Memory Mänsklig intelligens kännetecknas av en anmärkningsvärd förmåga att upprätthålla och manipulera information inom en aktiv butik, känd som arbetsminne, som tros vara omedelbar inom prefrontal cortex och sammankopplade områden (Goldman-Rakic, 1990 ). Klassiska kognitiva teorier tyder på att denna funktionalitet beror på interaktioner mellan en central controller (''executive') och separata, domänspecifika minnesbuffertar (t.ex., visuo-spatial skisspad) (Baddeley, 2012). AI-forskningen har hämtat inspiration från dessa modeller, genom att bygga arkitekturer som uttryckligen upprätthåller information över tid. Historiskt började sådana ansträngningar med införandet av återkommande neurala nätverk arkitekturer som visar attraherar dynamik och rikt sekventiellt beteende, arbete direkt inspirerad av neurovetenskap (Elman, 1990; Hopfield och Tank, 1986; Jordanien, 1997). Detta arbete möjliggjorde senare, mer detaljerad modellering av mänskligt arbetsminne (Botvinick och Plaut, 2006; Durstewitz et al., 2000), men det lade också grunden för ytterligare tekniska innovationer som har visat sig avgörande i den senaste AI-forskningen. I synnerhet kan man se nära paralleller mellan inlärningsdynamiken i dessa tidiga, neuroscience-inspirerade nätverk och de i långsiktiga minnesnätverk (LSTM), som därefter uppnådde toppmoderna prestanda över en mängd olika domäner. LTSM gör det möjligt att koppla in information i ett fast aktivitetstillstånd och behålla den tills en lämplig utmatning krävs (Hochreiter och Schmidhuber, 1997). Varianter av denna typ av nätverk har visat några slående beteenden i utmanande domäner, såsom lära sig att svara på frågor om latent tillstånd av variabler efter utbildning på datorkod (Zaremba och Sutskever, 2014). I vanliga LSTM-nätverk är funktionerna för sekvensreglering och minneslagring tätt sammanflätade. Detta kontrasterar mot klassiska modeller av mänskligt arbetsminne, som, som nämnts ovan, separerar dessa två. Detta neuroscience-baserade schema har nyligen inspirerat mer komplexa AI arkitekturer där kontroll och lagring stöds av distinkta moduler Weston et al., 2014). Till exempel, differential neurala datorn (DNC) innebär en neural nätverk controller som sköter och läser/skriver från en extern minnesmatris. Denna utläggning gör det möjligt för nätverksstyrenheten att lära sig från grunden (dvs. via end-to-end optimering) att utföra ett brett spektrum av komplexa minnes- och resonemangsuppgifter som för närvarande undviker LSTMs, såsom att hitta den kortaste vägen genom en grafliknande struktur, såsom en tunnelbanekarta, eller manipulera block i en variant av Tower of Hanoi uppgift ( Figur 1C ). Dessa typer av problem har tidigare hävdats vara uteslutande beroende av symbolbehandling och variabel bindning och därmed utanför neurala nätverk (Fodor och Pylyshyn, 1988; Marcus, 1998). Observera att även om både LSTM:er och DNC beskrivs här i samband med arbetsminnet, har de potential att upprätthålla information över tusentals träningscykler och kan därför vara lämpade för mer långsiktiga minnesformer, såsom att behålla och förstå innehållet i en bok. Kontinuerligt lärande Intelligenta agenter måste kunna lära sig och komma ihåg många olika uppgifter som påträffas under flera tidsperioder. Både biologiska och artificiella agenser måste därför ha en kapacitet för kontinuerlig inlärning, det vill säga en förmåga att bemästra nya uppgifter utan att glömma hur man utför tidigare uppgifter (Thrun och Mitchell, 1995). Medan djur verkar relativt skickliga på kontinuerlig inlärning, neurala nätverk lider av problemet med katastrofala glömska (franska, 1999; McClelland m.fl., 1995). Detta inträffar när nätverksparametrarna skiftar mot det optimala tillståndet för att utföra den andra av två på varandra följande uppgifter, överskriver konfigurationen som tillät dem att utföra den första. Med tanke på vikten av kontinuerlig inlärning, detta ansvar neurala nätverk förblir en betydande utmaning för utvecklingen av AI. Inom neurovetenskap, avancerade neuroimaging tekniker (t.ex., två-foton avbildning) nu tillåter dynamisk in vivo visualisering av strukturen och funktionen hos dendritiska ryggrader under lärande, på den rumsliga skalan av enstaka synapser (Nishiyama och Yasuda, 2015). Detta tillvägagångssätt kan användas för att studera Neuron 95, juli 19, 2017 249 Neuron Review neokortikal plasticitet under kontinuerlig inlärning (Cichon och Gan, 2015; Hayashi-Takagi et al., 2015; Yang et al., 2009 ). Det finns nya bevis för specialiserade mekanismer som skyddar kunskap om tidigare uppgifter från störningar när man lär sig om en ny uppgift. Dessa inkluderar minskad synapsisk labilitet (dvs. lägre grad av plasticitet) i en andel förstärkta synapser, medierade av utvidgningar till dendritiska ryggrader som kvarstår trots inlärning av andra uppgifter (Cichon och Gan, 2015; Yang et al., 2009) (Figur 1D ). Dessa förändringar är förknippade med bibehållande av uppgiften prestanda under flera månader, och faktiskt, om de är ''rad'' med synapsoptogenetik, leder detta till att glömma uppgiften (Hayashi-Takagi et al., 2015). Dessa empiriska insikter överensstämmer med teoretiska modeller som antyder att minnen kan skyddas från störningar genom synapser som övergår mellan en kaskad av stater med olika nivåer av plasticitet (Fusi et al., 2005) (Figur 1D ). Tillsammans har dessa resultat från neurovetenskap inspirerat utvecklingen av AI-algoritmer som tar itu med utmaningen att kontinuerligt lära sig i djupa nätverk genom att genomföra en form av "elastisk" viktkonsolidering (EWC) (Kirkpatrick et al., 2017), som verkar genom att sakta ner inlärningen i en delmängd av nätverksvikter som identifierats som viktiga för tidigare uppgifter, och därmed förankra dessa parametrar till tidigare funna lösningar ( Figur 1D ). Detta gör det möjligt att lära sig flera uppgifter utan att öka nätkapaciteten, med vikter som fördelas effektivt mellan uppgifter med tillhörande struktur. På så sätt gör EWC-algoritmen det möjligt för djupa RL-nätverk att stödja kontinuerlig inlärning i stor skala. I AI, tempot i den senaste forskningen har varit anmärkningsvärt. Konstgjorda system matchar nu mänsklig prestanda i utmanande objektigenkänning uppgifter (Krizhevsky et al., 2012) och överträffa experter människor i dynamiska, kontradiktoriska miljöer som Atari videospel, det gamla brädspelet Go (Silver et al., 2016), och ofullkomliga information spel såsom heads-up poker (Morav cík et al., 2017). Maskiner kan självständigt generera syntetiska naturliga bilder och simuleringar av mänskligt tal som är nästan oskiljaktiga från deras verkliga motsvarigheter (Lake et al., 2015; van den Oord et al., 2016), översätta mellan flera språk (Wu et al., 2016), och skapa ''neural konst' i stil med välkända målare (Gatys et al., 2015). Det krävs dock fortfarande mycket arbete för att överbrygga klyftan mellan maskin och intelligens på mänsklig nivå. När vi arbetar för att minska denna klyfta tror vi att idéer från neurovetenskapen kommer att bli alltmer oumbärliga. I neurovetenskap, tillkomsten av nya verktyg för hjärnavbildning och genetisk bioteknik har börjat erbjuda en detaljerad karakterisering av de beräkningar som sker i neurala kretsar, lovande en revolution i vår förståelse av däggdjurs hjärnfunktion (Deisseroth och Schnitzer, 2013). Neurovetenskapens relevans, både som en färdplan för AI-forskningsagendan och som en källa till beräkningsverktyg, är särskilt framträdande inom följande nyckelområden. Intuitiv förståelse av den fysiska världen Nya perspektiv betonar viktiga ingredienser i mänsklig intelligens som redan är väl utvecklade hos mänskliga spädbarn men saknar i de flesta AI-system (Gilmore et al., 2007; Gopnik och Schulz, 2004; Lake et al., 2016). Bland dessa förmågor finns kunskap om centrala begrepp som relaterar till den fysiska världen, såsom utrymme, antal och objektitet, som gör det möjligt för människor att konstruera komposition mentala modeller som kan vägleda inferens och förutsägelse (Battaglia et al., 2013; Spelke och Kinzler, 2007). AI-forskningen har börjat utforska metoder för att ta itu med denna utmaning. Till exempel har nya neurala nätverksarkitekturer utvecklats som tolkar och resonerar om scener på ett människolikt sätt, genom att bryta ner dem i enskilda objekt och deras relationer Chang et al., 2016; Eslami et al., 2016) (figur 2A och 2B). I vissa fall har detta resulterat i mänsklig nivå prestanda på utmanande resonemang uppgifter. I annat arbete har djup RL använts för att fånga de processer genom vilka barn får en allmän förståelse av världen genom interaktiva experiment (Denil et al., 2016). Relaterade, djupt generativa modeller har utvecklats som kan konstruera rika objekt modeller från rå sensoriska ingångar (Higgins et al., 2016). Dessa hävstång begränsningar först identifierade i neurovetenskap, såsom redundans minskning (Barlow, 1959), som uppmuntrar uppkomsten av lösliga representationer av oberoende faktorer såsom form och position (figur 2C). Viktigt, de latenta representationer lärt av sådana generativa modeller uppvisar kompositionsegenskaper, stöder flexibel överföring till nya uppgifter (Eslami et al., 2016; Higgins et al., 2016; Rezende et al., 2016a). I bildtexten för Bild 2 ger vi mer detaljerad information om dessa nätverk. Effektiv inlärning Mänsklig kognition utmärker sig genom sin förmåga att snabbt lära sig om nya begrepp från bara en handfull exempel, utnyttja tidigare kunskap för att möjliggöra flexibla induktiva slutsatser. För att lyfta fram denna mänskliga förmåga som en utmaning för AI utgjorde Lake och kollegor nyligen en "teckenutmaning" (Lake et al., 2016). Här måste en observatör särskilja nya fall av en obekant handskriven karaktär från andra liknande objekt efter att ha tittat på endast ett enda exempel. Människor kan utföra denna uppgift väl, men det är svårt för klassiska AI-system. Uppmuntrande, senaste AI algoritmer har börjat göra framsteg på uppgifter som karaktärerna utmaning, genom både strukturerade probabilistiska modeller (Lake et al., 2015) och djupa generativa modeller baserade på ovan nämnda DRAW modell (Rezende et al., 2016b). Båda klasser av system kan göra slutsatser om ett nytt koncept trots en brist på data och generera nya prover från ett enda exempel koncept ( Figur 2D ). Vidare har den senaste AI-forskningen utvecklat nätverk som "lär sig att lära," förvärva kunskap om nya uppgifter genom att utnyttja tidigare erfarenhet av relaterade problem, för att stödja en-shot koncept lärande (Santoro et al., 2016; Vinyals et al., 2016) och påskynda lärande i RL uppgifter (Wang et al., 2016). Återigen bygger detta på begrepp från neurovetenskap: lärande att lära utforskades först i studier av djurinlärning (Harlow, 1949), och har därefter studerats i utvecklingspsykologi (Adolph, 2005; Kemp et al., 2010; Smith, 1995 Neuron Review exempel, en människa som kan köra bil, använda en bärbar dator, eller ordförande ett kommittémöte är vanligtvis kan agera effektivt när de konfronteras med en okänd fordon, operativsystem, eller social situation. Framsteg görs i utvecklingen av AI arkitekturer som kan uppvisa stark generalisering eller överföring, till exempel genom att möjliggöra noll-shot slutsatser om nya former utanför utbildningsdistributionen baserat på kompositions representationer (Higgins et al., 2016; Figur 2C ). Andra har visat att en ny klass av arkitektur, känd som ett progressivt nätverk, kan utnyttja kunskap som vunnits i ett tv-spel för att lära sig snabbt i ett annat, lovande den typ av ""långa överföring""" som är karakteristisk för mänsklig kompetens förvärv (Rusu et al., 2016a). Progressiva nätverk har också framgångsrikt använts för att överföra kunskap för en simulerad robotisk miljö till en riktig robotarm, kraftigt minska den utbildningstid som krävs på den verkliga världen (Rusu et al., 2016b). Intressant nog har den föreslagna arkitekturen en viss likhet med en framgångsrik beräkningsmodell av sekventiell uppgiftsinlärning hos människor (Collins och Koechlin, 2012; Donoso et al., 2014). I neurovetenskapens litteratur har ett kännetecken för överföringslärande varit förmågan att (Eslami et al., 2016). Överst: iterativ slutsats i en variationsrik automatisk kodararkitektur. Det återkommande nätverket deltar i ett objekt i taget, drar slutsatser om dess attribut och utför lämpligt antal slutsteg för varje indatabild (x). Scener beskrivs i termer av grupper av latenta variabler (Z) som anger närvaro / frånvaro (z pres ), egenskaper såsom position (z var ), och form (z vad ). Inferensnätverk (svarta anslutningar) och generatornätet (röd pil), som producerar rekonstruerad bild (y). Nederst: illustration av iterativ slutsats i flera MNIST-bilder (grön indikerar det första steget och rött det andra steget). Rätt: slutsatser om position/form av flera objekt i realistisk scen (observera att slutsatsen är korrekt, och därför är det svårt att skilja mellan infererade positioner [röd linje] och marksanning). Latent representationer i detta nätverk hastighet lärande på nedströms uppgifter (t.ex., tillägg av MNIST siffror) (inte avbildad; se Eslami et al., 2016). (C) Obesudlad inlärning av kärnobjektets egenskaper (Higgins et al., 2016 ) visas. Vänster: schematiskt illustrerande inlärning av disentanglade faktorer av sensorisk ingång genom djup generativ modell (vänster: variations auto-encoder [VAE]), vars representationer kan påskynda inlärning på nedströms uppgifter (Eslami et al., 2016), jämfört med relativt insnärjd representation lärt sig av typiska djupa nätverk (t.ex., DQN: höger). Höger panel illustrerar latent representation av VAE; latenta enheter som kodar för faktorer av variation, såsom objektposition, rotation, och skala, visas genom effekten av att självständigt ändra aktiviteten av en latent enhet. Sådana nätverk kan lära sig intuitiva begrepp som ''objektivitet,'' att kunna stödja noll-shot överföring (dvs. resonemang om position eller skala av ett osynligt objekt med en ny form; Higgins et al., 2016). (D) En-shot generalisering i djupa sekventiella generativa modeller (Rezende et al., 2016b ) visas. Djupa generativa modeller anger en kausalprocess för att generera observerade data med hjälp av en hierarki av latenta variabler, med uppmärksamhetsmekanismer som stöder sekventiell slutsats. Illustrerade är genererade prover från Rezende et al. modell, beroende på en enda roman karaktär från en hållen alfabet från Omniglot dataset (Lake et al., 2015), visar förmågor som speglar mänskliga förmågor att generalisera från ett enda koncept. (E) Föreställning om realistiska miljöer i djupa nätverk (Chiappa et al., 2017 ) visas. Genererade (vänster) och verkliga (höger) ramar från proceduriska labyrinter (dvs ny labyrint layout på varje episod) som produceras av en åtgärd-villkorlig återkommande nätverksmodell $150 och 200 ramar efter den sista observerade bilden, respektive. Neuron 95, juli 19, 2017 251 Neuron Review resonera relationsmässigt, och AI forskare har också börjat göra framsteg i att bygga djupa nätverk som tar itu med problem av detta slag, till exempel genom att lösa visuella analogier (Reed et al., 2015). Mer allmänt är dock hur människor eller andra djur uppnår denna typ av överföringsutbildning på hög nivå okänd, och förblir ett relativt outforskat ämne inom neurovetenskapen. Nya framsteg på denna front kan ge kritiska insikter för att sporra AI-forskning mot målet livslångt lärande i agenter, och vi uppmuntrar neuroforskare att engagera sig djupare i denna fråga. På nivån neural kodning, denna typ av överföring av abstrakt strukturerad kunskap kan förlita sig på bildandet av konceptuella representationer som är invarianta till objekt, individer, eller scenelement som befolkar en sensorisk domän men istället kod för abstrakt, relationell information bland mönster av ingångar (Doumas et al., 2008). För närvarande saknar vi emellertid direkta bevis för att det finns sådana koder i däggdjurshjärnan. Ändå gjorde en färsk rapport det mycket intressanta påståendet att neurala koder anses vara viktiga i representationen av allocentriska (karta-liknande) utrymmen kan vara kritiska för abstrakt resonemang i mer allmänna domäner (Constantinescu et al., 2016). I däggdjurs entrhinal cortex, celler koda geometrin av allocentriskt utrymme med en periodisk ''grid'' kod, med mottagliga fält som kakel lokal utrymme i en hexagonal mönster (Rowland et al., 2016). Rutnätskoder kan vara en utmärkt kandidat för att organisera konceptuell kunskap, eftersom de tillåter tillståndsutrymmen att brytas ned effektivt, på ett sätt som kan stödja upptäckt av submål och hierarkisk planering (Stachenfeld m.fl., 2014). Med hjälp av funktionell neuroimering, forskarna ger bevis för förekomsten av sådana koder medan människor utförde en abstrakt kategorisering uppgift, stödja uppfattningen att periodisk kodning är ett generaliserat kännetecken för mänsklig kunskapsorganisation (Constantinescu et al., 2016). Det krävs dock mycket ytterligare arbete för att styrka detta intressanta påstående. Trots deras starka resultat på målinriktade uppgifter, djupa RL-system som DQN fungerar mestadels på ett reaktivt sätt, lära kartläggning från perceptuella ingångar till åtgärder som maximerar framtida värde. Denna ''modellfria'' RL är beräknings billigt men lider av två stora nackdelar: det är relativt ineffektiva data, kräver stora mängder erfarenhet för att härleda korrekta uppskattningar, och det är oflexibelt, att vara okänslig för förändringar i värdet av utfall (Daw et al., 2005). Däremot kan människor mer flexibelt välja åtgärder baserade på prognoser för långsiktiga framtida resultat genom simuleringsbaserad planering, som använder förutsägelser som genereras från en intern modell av miljön lärt sig genom erfarenhet (Daw et al., 2005; Dolan och Dayan, 2013; Tolman, 1948). Dessutom är planering inte en unik mänsklig kapacitet. Till exempel, när caching mat, scrub jays överväga de framtida förhållanden under vilka det är sannolikt att återhämta sig (Raby et al., 2007) och råttor använder en ''kognitiv karta'' vid navigering, tillåter induktiva slutsatser under vägsökning och underlättar en-shot lärande beteenden i labyrint-liknande miljöer (Daw et al., 2005; Tolman, 1948). Naturligtvis har denna punkt inte gått förlorad på AI forskare; faktiskt, tidig planering algoritmer som Dyna (Sutton, 1991) inspirerades av teorier som betonade vikten av "mentala modeller" för att generera hypotetiska erfarenheter användbara för mänskligt lärande (Craik, 1943). Vid det här laget finns en stor mängd litteratur om AI-planeringstekniker, inklusive modellbaserade RL-metoder, som försöker genomföra denna prognosbaserade metod för åtgärdsval. Dessutom simuleringsbaserad planering, särskilt Monte Carlo trädsökning (MCTS) metoder, som använder framåt sökning för att uppdatera en värdefunktion och / eller policy (Browne et al., 2012), spelade en nyckelroll i det senaste arbetet där djup RL uppnått expertnivå prestanda i spelet Go (Silver et al., 2016). AI forskning om planering, dock, har ännu att fånga några av de viktigaste egenskaperna som ger mänsklig planering förmågor sin makt. I synnerhet föreslår vi att en allmän lösning på detta problem kommer att kräva förståelse för hur rika interna modeller, som i praktiken måste vara ungefärliga men tillräckligt exakta för att stödja planering, kan läras genom erfarenhet, utan att starka tidigare handgjordas i nätverket av försöksledaren. Vi hävdar också att AI-forskning kommer att dra nytta av en noggrann läsning av den relaterade litteraturen om hur människor föreställer sig möjliga scenarier, föreställer sig framtiden och utför simuleringsbaserad planering, funktioner som är beroende av ett gemensamt neuralt substrat i hippocampus (Doll et al., 2015; Maguire, 2007, 2009; Schacter et al., 2012). Även om fantasin har en inneboende subjektiv, omärklig kvalitet, har vi anledning att tro att den har en bevarad roll i simuleringsbaserad planering mellan arter (Hassabis och Maguire, 2009; Schacter et al., 2012). Till exempel, när pausas vid en valpunkt, krusningar av neural aktivitet i råtta hippocampus liknar de som observerats under efterföljande navigering av tillgängliga banor ('preplay'), som om djuret var ''imagining'' varje möjligt alternativ (Johnson och Redish, 2007; Ó lafsdó ttir et al., 2015; Pfeiffer och Foster, 2013). Vidare har det senaste arbetet föreslagit en liknande process under icke-spatial planering hos människor (Doll et al., 2015; Kurth-Nelson et al., 2016). Vi har diskuterat ovan hur införandet av mekanismer som spelar upp och lär sig offline från tidigare erfarenheter kan förbättra prestandan hos djupa RL-agenter som DQN (som diskuteras ovan i Episodic Memory). Vissa uppmuntrande inledande framsteg mot simuleringsbaserad planering har gjorts med hjälp av djupa generativa modeller (Eslami et al., 2016; Rezende et al., 2016a Rezende et al.,, 2016b (Figur 2). I synnerhet, senaste arbetet har infört nya arkitekturer som har kapacitet att generera temporalt konsekventa sekvenser av genererade prover som återspeglar den geometriska layouten av nyligen erfarna realistiska miljöer (Gemici et al., 2017; Oh et al., 2015) (Figur 2E ), vilket ger en parallell till funktionen av hippocampus att binda ihop flera komponenter för att skapa en inbillad upplevelse som är rumsligt och temporalt sammanhängande (Hassabis och Maguire, 2007). Djupa generativa modeller visar därmed potentialen att fånga den rika dynamiken i komplexa realistiska miljöer, men att använda dessa modeller för simuleringsbaserad planering i agenter är fortfarande en utmaning för framtida arbete. Insikter från neurovetenskap kan ge vägledning som underlättar integrationen av simulering med kontroll. En ny bild från neurovetenskap forskning tyder på att hippocampus stöder planering genom att ögonblickliga en intern modell av miljön, med mål-kontingent värdering av simulerade resultat som sker i områden nedströms från hippocampus 252 Neuron 95, juli 19, 2017 Neuron Review sådan omloppsbana frontal cortex eller striatum (Redish, 2016). De mekanismer som styr utvecklingen av en intern miljömodell i hippocampus är dock fortfarande osäkra och förtjänar framtida granskning. En möjlighet är att denna process initieras av prefrontal cortex genom interaktioner med hippocampus. Faktum är att detta begrepp har distinkta paralleller med förslag från AI forskning att en separat styrenhet interagerar med en intern modell av miljön på ett dubbelriktat sätt, frågar modellen baserat på uppgifter-relevanta mål och tar emot förutspådda simulerade tillstånd som ingång (Schmidhuber, 2014). Vidare har den senaste tidens insatser för att utveckla agenter använt arkitekturer som snabbar upp en separation mellan styrenhet och miljömodell för att påverka simuleringsbaserad planering i problem som involverar samspelet mellan fysiska objekt (Hamrick et al., 2017). För att förbättra agentkapaciteten i simuleringsbaserad planering kommer det också att vara viktigt att överväga andra framträdande egenskaper hos denna process hos människor Maguire, 2007, 2009). Forskning om människans fantasi betonar dess konstruktiva natur, med människor som kan konstruera fiktiva mentala scenarier genom att rekombinera bekanta element på nya sätt, necessitating kompositionella / disentangliga representationer av formen närvarande i vissa generativa modeller (Eslami et al., 2016; Higgins et al., 2016; Rezende et al., 2016a). Detta stämmer väl överens med uppfattningen att planering hos människor innebär effektiva representationer som stöder generalisering och överföring, så att planer smidda i en miljö (t.ex. att gå genom en dörr för att nå ett rum) kan utnyttjas i nya miljöer som delar struktur. Dessutom är planering och mental simulering hos människor ''jumpy'' överbrygga flera temporalskalor åt gången; till exempel verkar människor planera hierarkiskt, genom att överväga i parallella terminallösningar, tillfälliga valpunkter, och bitvis steg mot målet (Balaguer et al., 2016; Solway et al., 2014; Huys et al., 2012). Vi tror att i slutändan dessa flexibla, kombinatoriska aspekter av planering kommer att utgöra en kritisk grund för vad som kanske är den svåraste utmaningen för AI-forskning: att bygga en agent som kan planera hierarkiskt, är verkligt kreativ, och kan generera lösningar på utmaningar som för närvarande undkommer även det mänskliga sinnet. Virtual Brain Analytics Ett ganska annorlunda sätt på vilket neurovetenskap kan tjäna AI är genom att tillhandahålla nya analytiska verktyg för att förstå beräkning i AI-system. På grund av deras komplexitet förblir produkterna i AI-forskningen ofta ''svarta lådor''; vi förstår bara dåligt vilken typ av beräkningar som sker, eller representationer som bildas, under inlärning av komplexa uppgifter. Men genom att tillämpa verktyg från neurovetenskap till AI-system, syntetiska motsvarigheter av encellsinspelning, neuroimaging, och lesion tekniker, kan vi få insikter i de viktigaste drivkrafterna för framgångsrikt lärande i AI-forskning och öka tolkningen av dessa system. Vi kallar detta "virtuell hjärnanalys". Den senaste tidens arbete har gjort vissa framsteg i denna riktning. Till exempel, visualisera hjärnan tillstånd genom dimensionalitetsreduktion är vanligt förekommande i neurovetenskap, och har nyligen applicerats på neurala nätverk (Zahavy et al., 2016). Receptiv fältkartläggning, ett annat standardverktyg inom neurovetenskap, gör det möjligt för AI-forskare att bestämma responsegenskaperna hos enheter i ett neuralt nätverk. En intressant tillämpning av detta tillvägagångssätt i AI är känd som aktivitet maximization, där ett nätverk lär sig att generera syntetiska bilder genom att maximera aktiviteten hos vissa klasser av enhet (Nguyen et al., 2016; Simonyan et al., 2013). På andra håll har neuroscience-inspirerade analyser av lineariserade nätverk avslöjat viktiga principer som kan vara av allmän nytta för att optimera lärandet av dessa nätverk, och förstå fördelarna med nätverkdjup och representationsstruktur (McClelland och Rogers, 2003; Saxe et al., 2013). Även om dessa inledande framsteg är uppmuntrande, krävs det mer arbete. Det är fortfarande svårt att karakterisera funktionen av komplexa arkitekturer såsom nätverk med externt minne. Icke desto mindre är AI-forskare i den unika positionen att ha grundsanning kunskap om alla komponenter i systemet, tillsammans med potentialen att kausalt manipulera enskilda element, ett avundsvärt scenario ur perspektivet experimentella neuroforskare. Som sådan uppmuntrar vi AI-forskare att använda metoder från neurovetenskap för att utforska egenskaper hos nätverksarkitekturer och -agenter genom analys, visualisering, kausalmanipulering, inte att glömma behovet av noggrant utformade hypotesdrivna experiment (Jonas and Kording, 2017; Krakauer et al., 2017). Vi tror att virtuell hjärnanalys sannolikt kommer att bli en allt mer integrerad del av rörledningen för algoritmisk utveckling när komplexiteten i arkitekturer ökar. Hittills har vår granskning främst fokuserat på neurovetenskapens roll för att påskynda AI-forskningen snarare än tvärtom. Historiskt sett har emellertid informationsflödet mellan neurovetenskap och AI varit ömsesidigt. Maskininlärning tekniker har förändrat analysen av neuroimaging datasets-till exempel i multivariat analys av fMRI och magnetoencephalographic (MEG) data (Cichy et al., 2014; Ç ukur et al., 2013; Kriegeskorte och Kievit, 2013)-med löfte om expediting connectomic analys (Glasser et al., 2016), bland andra tekniker. Vidare tror vi att byggandet av intelligenta algoritmer har potential att erbjuda nya idéer om intelligensens underbyggnad i människors och andra djurs hjärnor. I synnerhet psykologer och neuroforskare har ofta bara ganska vaga föreställningar om de mekanismer som ligger till grund för de begrepp de studerar. AI forskning kan hjälpa, genom att formalisera dessa begrepp i ett kvantitativt språk och erbjuda insikter i deras nödvändighet och tillräcklighet (eller på annat sätt) för intelligent beteende. En viktig illustration av denna potential ges av RL. Efter idéer från djurpsykologi hjälpte till att föda till förstärkning av lärande forskning, nyckelbegrepp från den senare matas tillbaka för att informera neurovetenskap. I synnerhet, profilen av neurala signaler observerade i mitthjärnan dopaminerga neuroner i konditionering paradigmer befanns ha en slående likhet med TD-genererade förutsägelsefel, vilket ger neurala bevis för att hjärnan genomför en form av TD-inlärning (O'Doherty et al., 2003; Schultz et al., 1997). Denna övergripande berättande båge ger en utmärkt illustration av hur utbytet av idéer mellan AI och neurovetenskap kan skapa en ''virtuös cirkel'' som främjar målen för båda fälten. Inom ett annat område har arbetet fokuserat på att förbättra CNN:s prestanda också gett nya insikter i karaktären av neurala representationer i visuella områden på hög nivå (KhalighRazavi och Kriegeskorte, 2014; Yamins och DiCarlo, 2016). För Neuron 95, 19 juli 2017 253 Neuron Review exempel, en grupp systematiskt jämförde förmågan av mer än 30 nätverk arkitekturer från AI för att förklara strukturen av neurala representationer observerade i ventral visuell ström av människor och apor, hitta gynnsamma bevis för djupt övervakade nätverk (Khaligh-Razavi och Kriegeskorte, 2014). Dessutom erbjuder dessa djupkonvolutionella nätverksarkitekturer en beräkningsbild av de senaste neurofysiologiska data som visar att kodningen av objekts kategori-ortogonala egenskaper (t.ex. position, storlek) faktiskt ökar när man går högre upp i den ventrala visuella strömmen (Hong et al., 2016). Även om dessa resultat är långt ifrån definitiva ännu, visar det hur state-of-the-art neurala nätverk från AI kan användas som rimlig simulacra av biologiska hjärnor, potentiellt ge detaljerade förklaringar av de beräkningar som sker däri (Khaligh-Razavi och Kriegeskorte, 2014; Yamins och DiCarlo, 2016). Relaterade egenskaper hos LSTM arkitektur har gett viktiga insikter som motiverade utvecklingen av arbetsminnesmodeller som ger geting-baserat underhåll av uppgiftsrelevant information i prefrontal cortex (Lloyd et al., 2012; O'Reilly och Frank, 2006). Vi lyfter också fram två nya delar av AI-forskning som kan motivera ny forskning inom neurovetenskap. För det första, neurala nätverk med externt minne tillåter vanligtvis regulatorn att iterativt fråga eller ''hoppa igenom' innehållet i minnet. Denna mekanism är kritisk för resonemang över flera stödjande synpunkter som avser en viss fråga (Sukhbaatar et al., 2015). Tidigare förslag inom neurovetenskap har argumenterat för en liknande mekanism i mänsklig kognition, men alla potentiella neurala substrat, potentiellt i hippocampus, återstår att beskriva (Kumaran och McClelland, 2012). För det andra belyser det senaste arbetet de potentiella fördelarna med ''meta-reforcement learning,'' där RL används för att optimera vikterna i ett återkommande nätverk så att det senare kan genomföra en andra, framväxande RL algoritm som kan lära sig snabbare än originalet (Duan et al., 2016; Wang et al., 2016). Förvånansvärt nog hänger dessa idéer samman med en växande neurovetenskapslitteratur som visar på en roll för den prefrontala cortexen i RL, vid sidan av mer etablerade dopaminbaserade mekanismer (Schultz et al., 1997). Specifikt indikerar de hur en relativt långsamt inlärd dopaminerg RL-algoritm kan stödja uppkomsten av en fristående RL-algoritm omedelbart med den återkommande aktivitetsdynamiken i prefrontal cortex (Tsutsui et al., 2016). Insikter från AI-forskning ger också nya perspektiv på hur hjärnan kan implementera en algoritmisk parallell till backpropagation, den nyckelmekanism som gör att vikter inom flera lager i ett hierarkiskt nätverk kan optimeras mot en objektiv funktion (Hinton et al., 1986; Werbos, 1974). Backpropagation erbjuder en kraftfull lösning på problemet med kredittilldelning inom djupa nätverk, vilket gör det möjligt att lära sig effektiva representationer från högdimensionella data (LeCun et al., 2015). Men fram till nyligen, flera aspekter av backpropagation algoritm ansågs vara biologiskt osannolika (t.ex., se Bengio et al., 2015). En viktig faktor är att backpropagation vanligtvis har ansetts kräva perfekt symmetrisk återkoppling och feedfore-anslutning, en profil som inte observeras i däggdjurshjärnor. Det senaste arbetet har dock visat att denna begränsning i själva verket kan mildras (Liao et al., 2015; Lillirap et al., 2016). Slumpmässiga bakåtkopplingar, även när de hålls fast under hela nätverksträningen, är tillräckliga för att göra det möjligt för backpropagation algoritmen att fungera effektivt genom en process där justering av de främre vikterna tillåter bakåtprojektioner att överföra användbara undervisningssignaler. En annan grundläggande invändning mot den biologiska rimligheten av backpropagation är att viktuppdateringar i flerskiktsnätverk kräver tillgång till information som är icke-lokal (dvs. felsignaler som genereras av enheter många lager nedströms) (för granskning, se Bengio et al., 2015). Däremot beror plasticiteten i biologiska synapser främst på lokal information (dvs. pre- och postsynaptisk neuronal aktivitet) (Bi och Poo, 1998). AI-forskningen har börjat ta itu med denna grundläggande fråga. I synnerhet har nyligen arbete visat att hierarkiska auto-encoder nätverk och energibaserade nätverk (t.ex., kontinuerliga Hopfield nätverk) (Scellier och Bengio, 2016; Whittington och Bogacz, 2017) -modeller som har starka kopplingar till teoretiska neurovetenskap idéer om prediktiv kodning (Bastos et al., 2012) -kan approximera backpropagation algoritm, baserat på vikt uppdateringar som involverar rent lokal information. Konkreta kopplingar har faktiskt dragits mellan lärande i sådana nätverk och spets-timing beroende plasticitet (Scellier och Bengio, 2016), en hebbian mekanism direktoraterade brett över hjärnan (Bi och Poo, 1998). En annan klass av lokalt lärande regel har visat sig tillåta hierarkiska övervakade nätverk att generera hög nivå invarianter karakteristiska för biologiska system, inklusive spegelsymmetrisk inställning till fysiskt symmetriska stimuli, såsom ansikten (Leibo et al., 2017). Tillsammans erbjuder den senaste AI-forskningen löftet om att upptäcka mekanismer genom vilka hjärnan kan implementera algoritmer med funktionalitet backpropagation. Dessutom illustrerar denna utveckling potentialen för synergistiska interaktioner mellan AI och neurovetenskap: forskning som syftar till att utveckla biologiskt rimliga former av backpropagation har också motiverats av sökandet efter alternativa inlärningsalgoritmer. Med tanke på de allt djupare nätverk (t.ex., > 20 lager) som används i AI-forskning, faktorer som sammansättning av på varandra följande icke-linjäriteter utgör utmaningar för optimering med hjälp av backpropagation. I detta perspektiv har vi gått igenom några av de många sätt på vilka neurovetenskap har gjort grundläggande bidrag till att främja AI-forskning, och argumenterat för dess allt viktigare relevans. I strategeringen för det framtida utbytet mellan de två fälten, är det viktigt att inse att tidigare bidrag av neurovetenskap till AI har sällan involverat en enkel överföring av fullfjädrade lösningar som kan direkt re-implementeras i maskiner. Snarare, neurovetenskap har typiskt varit användbart på ett subtilare sätt, stimulera algoritmiska-nivå frågor om aspekter av djurinlärning och intelligens av intresse för AI forskare och ge inledande leder mot relevanta mekanismer. Som sådan, vår uppfattning är att utnyttja insikter från neurovetenskap forskning kommer att påskynda framsteg i AI forskning, och detta kommer att vara mest effektivt om AI forskare aktivt initierar samarbeten med neuroforskare för att belysa viktiga frågor som skulle kunna behandlas genom empiriskt arbete.
Neurovetenskap och djupinlärning kan vara till nytta för varandra (se REF för en nyligen genomförd översyn).
Neuroscience-Inspired Artificial Intelligence
{'venue': 'Neuron', 'journal': 'Neuron', 'mag_field_of_study': ['Psychology', 'Medicine']}