Djupa neurala nätverk har uppnått imponerande framgångar inom områden som sträcker sig från objektigenkänning till komplexa spel som Go 1,2. Navigation, dock, är fortfarande en betydande utmaning för artificiella medel, med djupa neurala nätverk tränas genom att förstärka lärande 3-5 misslyckas med att konkurrera kompetens däggdjurens rumsliga beteende, som stöds av rutnätsceller i entorhinal cortex 6. Rutnät celler tros ge en flerskalig periodisk representation som fungerar som ett mått för att koda utrymme 7,8 och är avgörande för att integrera själv-rörelse (pat integration) 6,7,9 och planera direkta banor till mål (vektor-baserad navigering) 7,10,11. Här vill vi utnyttja rutnätscellernas beräkningsfunktioner för att utveckla en djupt förstärkande inlärningsagent med däggdjursliknande navigeringsförmåga. Vi tränade först ett återkommande nätverk för att utföra vägen integration, vilket leder till uppkomsten av representationer som liknar rutnätsceller, liksom andra entorina celler typ 12. Vi visade sedan att denna representation gav en effektiv grund för en agent att lokalisera mål i utmanande, obekanta och föränderliga miljöer-optimering av det primära målet för navigering genom djup förstärkning lärande. Prestanda hos agenter utrustade med rutnätsliknande representationer överträffade en expert människa och jämförelseagenter, med de metriska mängder som krävs för vektorbaserad navigering som härrör från rutnätsliknande enheter inom nätverket. Dessutom gjorde rutnätsliknande representationer det möjligt för smittämnen att utföra genvägsbeteenden som påminner om de som utförs av däggdjur. Våra resultat visar att framväxande rutnätsliknande representationer förser agenter med en Euclideans rumsliga metriska och tillhörande vektoroperationer, vilket ger en grund för skicklig navigering. Som sådan stöder våra resultat neurovetenskapliga teorier som ser rutnätsceller som kritiska för vektorbaserad navigering 7,10,11, som visar att de senare kan kombineras med vägbaserade strategier för att stödja navigering i utmanande miljöer. Förmågan att själv lokalisera i miljön och att uppdatera sin position på grundval av självrörelse är centrala komponenter i navigering 13. Vi tränade ett djupt neuralt nätverk för att gå in i en fyrkantig arena (2,2 m × 2,2 m), med hjälp av simulerade banor modellerade på de av födosök gnagare (se Metoder). Nätverket var skyldigt att uppdatera sin uppskattning av läge och huvudriktning med hjälp av translationella och vinkelhastighetssignaler, som speglar de som finns tillgängliga för däggdjurshjärnan 12, 14, 15 (se Metoder; Bild. 1a, b) Förordn. Velocity tillhandahölls som ingång till ett återkommande nätverk med en långsiktig korttidsminnesarkitektur (LSTM), som utbildades med backpropagation genom tiden (se Metoder och Kompletterande Diskussion), vilket gör det möjligt för nätverket att dynamiskt kombinera aktuella ingångssignaler med aktivitetsmönster som återspeglar tidigare händelser (se Metoder; Bild. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. De LSTM som beräknas placera och huvudet riktningsenheter via en linjär lagerenheter med aktivitet definieras som en enkel linjär funktion av deras ingång (se Extended Data Bild. 1 för arkitektur). Viktigt, det linjära lagret var föremål för legalisering, särskilt avhopp 16, sådan att 50% av enheterna var slumpmässigt tystas vid varje steg. Vektorn för aktiviteter på plats och huvudriktningsenheter, motsvarande den aktuella positionen, tillhandahölls som en övervakad träningssignal vid varje steg (se Metoder; Extended Data Bild. 1 )............................................................................................................... Denna form av övervakning följer bevis för att i däggdjur, plats och huvud riktning representationer finns i nära anatomisk närhet till entorinala rutnät celler 12 och uppstår i gnagare ungar innan uppkomsten av mogna rutnät celler 17, 18. På samma sätt, hos vuxna gnagare, enterhinal rutnät celler är kända för att projicera till hippocampus och verkar bidra till den neurala aktiviteten av platsceller 19. Som förväntat kunde nätverket integreras exakt i denna inställning med födobeteende (genomsnittligt fel efter 15 s bana var 16 cm jämfört med 91 cm för ett otränat nätverk, effektstorlek 2,83, 95% konfidensintervall (CI) 2,80-2,86; Bild. 1b, c).......................................................................................................... Individuella enheter inom nätverkets linjära skikt utvecklade stabila rumsliga aktivitetsprofiler liknande dem för neuroner inom det entorinala nätverket 6, 12 (Fig. 1d, Extended Data Bild 2 )............................................................................................................... Närmare bestämt liknar 129 av de 512 linjära skiktenheterna (25,2 %) rutnätsceller, som uppvisar signifikant hexagonal periodicitet (gridness 20 ) jämfört med en nollfördelning som genereras av en konservativ fältchufflingsprocedur (se Metoder). Skalan av rutnätet-mönster, mätt från den rumsliga autokorrelogram av aktivitetskartor 20, varierade mellan enheter (intervall 28 cm till 115 cm, genomsnitt 66 cm) och följde en multimodal fördelning, i enlighet med empiriska resultat från gnagare rutnät celler 21, 22 ( Bild. 1e)............................................................................................................ För att bedöma dessa kluster, vi passar blandningar av Gaussians, hitta det mest parsimoniska antalet genom att minimera Bayesian informationskriteriet (BIC). Fördelningen var bäst lämpad av tre Gaussians (medelvärden 47 cm, 70 cm, och 106 cm), vilket indikerar förekomsten av skalkluster med ett förhållande mellan angränsande kluster av cirka 1,5, nära matchande teoretiska förutsägelser 23 och också ligger inom det område som rapporterats för gnagare 21, 22 (Fig. 1e, Utökade uppgifter Bild Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Det linjära skiktet visade också enheter som liknade huvudriktningsceller (10,2%), gränsceller (8,7%) och ett litet antal platsceller 12 samt samband av dessa representationer 20, 24 (Fig. 1d, f, g, Extended Data Bild 2 )............................................................................................................... För att ta reda på hur robusta dessa representationer var, omskolade vi nätverket 100 gånger, i varje fall hitta liknande proportioner av rutnätsliknande enheter (i genomsnitt 23%, s.d. 2,8 %, enheter med betydande rutnätsvärden) och andra rumsligt modulerade enheter (Extended Data Bild. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Omvänt uppstod inte rutnätsliknande representationer i nätverk utan legalisering (t.ex. avhopp, se Metoder; se även ref. 25, Utökade uppgifter Bild 4)................................................................. Därför, användningen av legalisering, inklusive avhopp (som har ansetts vara en parallell av buller i neurala system 16 ), var avgörande för uppkomsten av entinal-liknande representationer. I synnerhet visar våra resultat att rutnätsliknande representationer som påminner om de som finns i entrhinal cortex hos däggdjur framträder i ett generiskt nätverk som utbildats för att integrera vägar, vilket kontrasterar mot tidigare metoder med hjälp av förkonfigurerade rutnätsceller 26 (se Kompletterande diskussion). © 2018 Macmillan Publishers Limited, en del av Springer Nature. Alla rättigheter förbehållna. Dessutom stämmer våra resultat överens med uppfattningen att rutnätsceller utgör en effektiv och robust grund för en platskod som uppdateras av självrörelsesignaler [6] [7] [8] [9]. Därefter försökte vi testa hypotesen att de framväxande representationerna ger en effektiv basfunktion för målstyrd navigering i nya utmanande och föränderliga miljöer, när de tränas genom djupt förstärkande lärande. Entorhinal rutnätsceller har föreslagits för att ge en Euclidean rumsliga metriska och därmed stödja beräkningen av målriktade vektorer, vilket gör det möjligt för djur att följa direkta vägar till ett ihågkommet mål, en process som kallas vektorbaserad navigering 7, 10, 11. Teoretiskt sett är fördelen med att bryta ner den rumsliga platsen i en periodisk flerskalig kod, som tillhandahålls av rutnätsceller, att de relativa positionerna för två punkter kan hämtas genom att undersöka skillnaden i koden på nivån för varje skala-kombinera modulen återstoden för att returnera den sanna vektorn 7, 11 (Fig. (se avsnitt 4. 2 och 4. 5) Trots den uppenbara nyttan av ett sådant ramverk saknas dock fortfarande experimentella bevis för ett direkt deltagande av nätrepresentationer i målinriktad navigering. För att utveckla en agent med potential för vektorbaserad navigering införlivade vi det ovan beskrivna "gridnätverket" i en större arkitektur som utbildades med hjälp av djupt förstärkande lärande (Fig. 2d, Extended Data Bild Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Som tidigare tränades nätet med hjälp av övervakad inlärning, men för att bättre kunna approximera den information som finns tillgänglig för att navigera däggdjur, fick det nu hastighetssignaler perturbed med slumpmässigt brus samt visuell ingång. Experimentella bevis tyder på att placera cellinmatning till rutnätsceller korrigerar för drift och ankare rutnät till miljösignaler 21. Parallellt med detta behandlades visuell indata av en "visionsmodul" bestående av ett konvolutionsnätverk som producerade plats- och huvudriktningscellens aktivitetsmönster som tillhandahölls som indata till elnätet 5% av tidsakinen till ett djur som rörde sig och gjorde enstaka, ofullständiga observationer av framträdande miljöförhållanden 27 (se Metoder; Bild. 2b, c och utvidgade uppgifter bild 5) När det gäller läkemedel som inte är avsedda att användas tillsammans med andra läkemedel (se avsnitt 4. 5, 4. 5 och 4. Utgången av det linjära skiktet av nätet, som motsvarar agentens nuvarande plats, tillhandahölls som ingång till "policy LSTM", ett andra återkommande nätverk som både kontrollerar agentens åtgärder och utgångar en värdefunktion. Dessutom, när agenten nådde målet, var aktiviteten "målnätskod" i det linjära skiktet senare tillhandahålls policy LSTM under navigering som en ytterligare ingång. Vi undersökte först agentens navigationskapacitet i en enkel miljö inspirerad av den klassiska Morris vattenlabyrint ( Bild. 2b, c ; 2,5 m × 2,5 m kvadratarena; se Metoder och Kompletterande Resultat). I synnerhet kunde agenten fortfarande själv lokalisera exakt i denna mer utmanande miljö, där marken sanning information om platsen inte lämnades och hastighet ingångar var bullriga (medelfel efter 15-s bana, 12 cm mot 88 cm för ett otränat nätverk; effekt storlek, 2,82; 95% CI, 2.79-2.84; Bild. 2e)............................................................................................................ Dessutom visade agenten skickliga målsökning förmågor, vanligtvis tar direkta vägar till målet från godtyckliga start platser (Fig. 2t)........................................................................................................... Prestanda översteg den för en kontroll plats cell agent (Fig. 2f, Metoder), valt eftersom platsceller ger en robust representation av själv-lokalisering men är inte tänkt att ge ett substrat för långdistansvektor beräkningar 11. Vi undersökte enheterna i det linjära skiktet, återigen hitta en heterogen population som liknar de som finns i entorinala cortex, inklusive rutnätsliknande enheter (21,4 %) samt andra rumsliga representationer (Fig. 2g, Extended Data Bild 6 )-jämföra beroendet av däggdjur rutnät celler på själv-rörelse information 15, 28 och rumsliga ledtrådar 6, 21. Nästa gång vänder vi oss till vårt centrala påstående, att rutnätsceller ger agenter med förmågan att utföra vektorbaserad navigering, vilket gör det möjligt för regioner nedströms att beräkna målriktade vektorer genom att jämföra nuvarande aktivitet med en ihågkommen mål 7, 10, 11. I agenten förväntar vi oss att dessa beräkningar ska utföras av policyn LSTM, som tar emot det nuvarande aktivitetsmönstret över det linjära skiktet (benämns "current rutnät code; Bild. 2d och utökade uppgifter bild 5 ) samt att presentera den sista gången agenten nådde målet (benämns "goal grid code") och använder dem för att styra rörelser. Därför utförde vi flera manipulationer, som gav fyra rader av bevis till stöd för vektor-baserad navigering hypotes (se Kompletterande Resultat). För det första, för att visa att mål rutnätskoden gav tillräcklig information för att göra det möjligt för agenten att navigera till en godtycklig plats, ersatte vi den med en "falska" mål rutnätskod som slumpmässigt tas från en plats i miljön (se Metoder). Agenten följde en direkt väg till den nyligen angivna platsen, cirkling frånvarande mål (Fig. 2i) liknar gnagare i sondförsök av Morris vattenlabyrint (escape plattform borttagen). För det andra visade vi att det hade en påfallande skadlig effekt på prestandan att hålla inne målkoden från LSTM:s policy för rutnätscellsagenten (Extended Data Fig. Detta anslag är avsett att täcka utgifter för tjänstemän och tillfälligt anställda som arbetar inom politikområdet rättsliga frågor och inrikes frågor samt administrativa utgifter för tjänstemän och tillfälligt anställda som arbetar inom politikområdet rättsliga frågor och inrikes frågor. För det tredje visade vi att LSTM-policyn för nätcellsagenten innehöll representationer av viktiga komponenter i vektorbaserad navigering (Fig. 2j, k), och att både Euclidean avstånd (skillnad i r = 0,17; 95% CI, 0,11-0,24) och allocentrisk målriktning (skillnad i r = 0,22; 95% CI, 0,18-0,26) representerades starkare än i platsen cell agent. Särskilt har en neural representation av målavstånd nyligen rapporterats i däggdjur hippocampus 29. Slutligen ger vi bevis som överensstämmer med en förutsägelse om den vektorbaserade navigeringshypotesen, nämligen att en riktad lesion (dvs. ljuddämpning) till de mest rutnätsliknande enheterna inom målets rutnätskod bör ha en större negativ effekt på prestanda och representationen av vektorbaserade mått (t.ex. Euclidean avstånd) än en simulerad lesion (dvs. ljuddämpning av icke-grid enheter; se Kompletterande resultat). Efter att ha visat effektiviteten i rutnätsliknande representationer i att optimera en-shot mål lärande i en enkel fyrkantig arena, bedömde vi agentens prestanda i två utmanande, förfarandemässigt genererade flerrumsmiljöer, som kallas "mål-driven" och "mål-dörrar" (se Metoder). Särskilt dessa miljöer är utmanande för djupt förstärkande inlärningsagenter med externt minne (Extended Data Fig. 7e, f, h, i och kompletterande resultat). Återigen, nätcellsagenten uppvisade höga prestanda, var slående robust över en rad nätverkshyperparametrar (Extended Data Fig. 7a-c), och nådde målet oftare än antingen kontrollmedel eller en mänsklig expert-ett typiskt riktmärke för prestanda djup bild. 5).................................................................. PCP, plats cell förutsägelser; HDP, huvudet riktning cell förutsägelser. e, Noggrannhet för självlokalisering avkodad från platscellenheter. f, Prestanda av rutnätscell agent och plats cell agent (y axel visar belöning som erhållits inom en enda episod, 10 poäng per mål ankomst, grå bandet visar 68% konfidensintervall baserat på 5000 bootstrappade prover). G, som i Bild. 1, Det linjära skiktet utvecklar rumsliga representationer som liknar entinial cortex. Vänster till höger, två rutnätsceller, en gränscell och en huvudriktningscell. h, På den första prövningen av en episod, utforskar agenten att hitta målet och därefter navigerar direkt till det. S betecknar startplatsen. i, Efter framgångsrik navigering, den policy LSTM levererades med en "falska" mål rutnät-kod, styra agenten till denna plats där inget mål var närvarande. j, k, Decoding av målriktade metriska koder (dvs. Euclidean avstånd och riktning) från policy LSTM för rutnätscell och plats cell agenter. Den bootstrappade fördelningen (1 000 prov) av korrelationskoefficienter visas var och en med en violinplott överlagd på en Tukey boxplot. Brev reSeArCH förstärkning läromedel i spel scenarier 2 ( Bild. 3e, f ; se Kompletterande resultat). Dessutom, när agenter testades utan omskolning i miljöer betydligt större än de som setts tidigare, var det bara nätcellsagenten som kunde generalisera effektivt ( Bild. 3g, h ; se Kompletterande resultat). Trots komplexiteten i den "måldrivna" miljön kunde vi fortfarande avkoda de viktigaste metriska koderna från nätagentens policy LSTM med hög noggrannhet under den inledande navigeringsperioden, och avkodningsnoggrannheten var betydligt högre i nätcellsagenten än i både platscellen och djupt förstärkande inlärningskontrollmedel (Fig. 3j, k och kompletterande resultat; se Extended Data Figs. 8, 9 för kontrollagentarkitekturer). Slutligen är en central egenskap hos däggdjurens rumsliga beteende förmågan att utnyttja nya genvägar och passera obesökta delar av rymden, en kapacitet som tros bero på vektorbaserad navigering 9, 11. Strikely, rutnätscell agent-men inte jämförelsemedel-robustly demonstrerade dessa förmågor i specifikt utformade neuroscience-inspirerade labyrinter, tar direkta vägar till målet så snart de blev tillgängliga (Fig. 4, Utökade uppgifter bild 10 och kompletterande resultat). Konventionell samtidig lokalisering och kartläggning (SLAM) tekniker kräver vanligtvis en exakt och komplett karta som ska byggas, med karaktären och positionen av målet externt definierad 30. Däremot har den djupt förstärkande inlärningsmetod som beskrivs i detta arbete förmågan att lära sig komplexa kontrollpolitik end-to-end från en gles belöning, tar direkta vägar som innebär genvägar till mål i en automatisk mode-funktioner som överstiger tidigare djupt förstärka lärande metoder [3] [4] [5], och som skulle behöva handkodas i alla SLAM-system. d e * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * Vårt arbete, genom att visa att rutnätsliknande representationer ger en effektiv grund för flexibel navigering i utmanande nya miljöer, stöder teoretiska modeller av rutnätsceller i vektorbaserad navigering som tidigare saknade starkt empiriskt stöd 7, 10, 11. Vi visar också att vektorbaserad navigering effektivt kan kombineras med en vägbaserad strategi för att undvika hinder för att möjliggöra utnyttjande av optimala rutter i utmanande miljöer med flera avdelningar. Sammanfattningsvis hävdar vi att rutnätsliknande representationer förser agenter med en euklideisk geometrisk ram som jämför deras föreslagna beräkningsroll hos däggdjur som en tidigt utvecklande kantisk-liknande rumslig ställning som tjänar till att organisera perceptuell erfarenhet 17, 18.
Slutligen, helt nyligen, visade Ref hur en vektorbaserad representation av förskjutning skulle kunna användas i ett ramverk för förstärkningslärande för att förbättra en agents förmåga att lösa navigeringsuppgifter.
Vector-based navigation using grid-like representations in artificial agents
{'venue': 'Nature', 'journal': 'Nature', 'mag_field_of_study': ['Computer Science', 'Medicine']}