1 6 4 3 a rt I C l e S Att lära sig förutsäga långsiktig belöning är grundläggande för många djurs överlevnad. En del arter kan gå dagar, veckor eller till och med månader innan de uppnår den främsta belöningen, under vilken man måste uthärda svåra tillstånd. Bevis tyder på att hjärnan har utvecklat flera lösningar till denna förstärkning lärande (RL) problem 1. En lösning är att lära sig en modell eller kognitiv karta över miljön 2, som sedan kan användas för att generera långsiktiga belöningsprognoser genom simulering av framtida tillstånd 1. Denna lösning är dock beräkningsintensiv, särskilt i verkliga miljöer där utrymmet för framtida möjligheter är praktiskt taget oändligt. En alternativ, modellfri lösning är att lära sig, från test-och-terror, en värdefunktion som kartlägger stater till långsiktiga belöningsprognoser 3. Dynamiska miljöer kan dock vara problematiska för detta tillvägagångssätt, eftersom förändringar i fördelningen av belöningar kräver fullständig återinlärning av värdefunktionen. Här hävdar vi att hippocampus stöder en tredje lösning: lära sig av en prediktiv karta som representerar varje stat i termer av dess efterträdare stater 4. Denna representation är tillräcklig för långsiktig belöning förutsägelse, är lärbar med hjälp av en enkel, biologiskt rimlig algoritm, och förklarar en mängd data från studier av hippocampus. Vårt primära fokus är att förstå den beräkningsfunktionen hos hippocampala platsceller, som svarar selektivt när ett djur upptar en viss plats i rymden 5. En klassisk och fortfarande inflytelserik syn på platsceller är att de kollektivt ger en explicit karta över utrymme 5. Denna karta kan sedan användas som indata till ett modellbaserat 6,7 eller modellfritt 8,9 RL-system för beräkning av värdet av djurets nuvarande tillstånd. Däremot placerar den prediktiva kartteorin celler som kodning av förutsägelser om framtida tillstånd, som sedan kan kombineras med belöningsprognoser för att beräkna värden. Denna teori kan förklara varför bränning av platsceller moduleras av variabler som hinder, miljö topologi, och riktning av resor. Den generaliserar också till hippocampal kodning i icke-spatiala uppgifter. Bortom hippocampus, hävdar vi att entinial rutnät celler 10, som avfyrar periodiskt över rymden, koda en låg-dimensionell nedbrytning av den prediktiva kartan, användbart för att stabilisera kartan och upptäcka submål. Efterföljaren representation Ett djurs optimala tillvägagångssätt kommer ofta att bero på var (eller mer allmänt, "tillståndet") djuret befinner sig. Hippocampus påstådda roll när det gäller att representera platsen anses därför vara mycket viktig. Den traditionella synen på statsrepresentationen i hippocampus är att platscellerna indexerar den aktuella platsen genom att skjuta när djuret besöker den kodade platsen och annars förblir tyst 5. Den huvudsakliga idén med efterföljaren representation (SR) modell, som beskrivs nedan, är att plats celler inte koda plats i sig utan snarare en prediktiv representation av framtida stater med tanke på det nuvarande tillståndet. Således två fysiskt angränsande stater som förutspår olika framtida stater kommer att ha olika representationer, och två stater som förutspår liknande framtida stater kommer att ha liknande representationer. SR framgår naturligt av den definition av värde (V) som ofta används i RL. Värdet av en nuvarande tillstånd s definieras som den förväntade summan av belöningen vid varje framtida tillstånd s t, multiplicerat med en exponentiellt sönderfallande rabattfaktor γ  på [0, 1] som nedviktar distala belöningar: där s t är staten besökte vid tidpunkten t (se Online Metoder för formella matematiska detaljer). Värdefunktionen kan brytas ner i den inre produkten av belöningsfunktionen med en prediktiv representation av staten (SR) 4, betecknad av M: SR kodar den förväntade diskonterade framtida beläggning av staten s′ längs en bana initierad i tillstånd s: En kognitiv karta har länge varit den dominerande metaforen för hippocampal funktion, omfamnar idén att placera celler koda en geometrisk representation av rymden. Bevis för prediktiv kodning, belöna känslighet och politiskt beroende på plats celler tyder dock på att representationen inte är enbart rumslig. Vi närmar oss detta pussel ur ett förstärkande lärandeperspektiv: vilken typ av rumslig representation är mest användbar för att maximera framtida belöning? Vi visar att svaret tar formen av en prediktiv representation. Denna representation fångar många aspekter av plats cell svar som faller utanför den traditionella synen på en kognitiv karta. Dessutom hävdar vi att entorinala rutnätsceller kodar en lågdimensionell grund för den prediktiva representationen, användbar för att undertrycka buller i förutsägelser och extrahera flerskalig struktur för hierarkisk planering.
I REF föreslår författarna att lära sig en modell av miljön av en agent genom att koda förutsägelsen av dess framtida tillstånd i celler, som motsvarar en form av sensorimotoriska representationer.
The hippocampus as a predictive map
{'venue': 'Nature Neuroscience', 'journal': 'Nature Neuroscience', 'mag_field_of_study': ['Medicine', 'Biology']}