Kvantitativ modellering av mänsklig hjärnaktivitet kan ge avgörande insikter om kortikala representationer [1, 2] och kan utgöra grunden för avkodningsanordningar i hjärnan [3] [4] [5]. Nyligen genomförda studier av funktionell magnetisk resonanstomografi (fMRI) har modellerat hjärnaktivitet framkallad av statiska visuella mönster och har rekonstruerat dessa mönster från hjärnaktivitet [6] [7] [8] Men signaler som är beroende av syrenivån i blodet (BOLD) mäts via fMRI är mycket långsamma [9], så det har varit svårt att modellera hjärnaktivitet som framkallas av dynamiska stimuli såsom naturliga filmer. Här presenterar vi en ny rörelseenergi [10, 11] kodningsmodell som till stor del övervinner denna begränsning. Modellen beskriver snabb visuell information och långsam hemodynamik med separata komponenter. Vi spelade in BOLD-signaler i okcipitotemporal visuell cortex av människor som tittade på naturliga filmer och passar modellen separat för enskilda voxels. Visualisering av passformsmodellerna avslöjar hur tidiga visuella områden representerar informationen i filmer. För att visa kraften i vårt tillvägagångssätt har vi också konstruerat en Bayesian dekoder [8] genom att kombinera uppskattade kodningsmodeller med en provsmakad naturfilm innan. Dekodern ger anmärkningsvärda rekonstruktioner av de sedda filmerna. Dessa resultat visar att dynamisk hjärnaktivitet mätt under naturalistiska förhållanden kan avkodas med hjälp av nuvarande fMRI-teknik. Många av våra visuella upplevelser är dynamiska: perception, visuella bilder, drömmar och hallucinationer förändras kontinuerligt över tiden, och dessa förändringar är ofta de mest övertygande och viktiga aspekterna av dessa upplevelser. Att få en kvantitativ förståelse av hjärnans aktivitet som ligger till grund för dessa dynamiska processer skulle främja vår förståelse av den visuella funktionen. Kvantitativa modeller av dynamiska mentala händelser kan också ha viktiga tillämpningar som verktyg för psykiatrisk diagnos och som grund för hjälpmedel för hjärnmaskinsgränssnitt [3] [4] [5]. Att modellera dynamisk hjärnaktivitet är ett svårt tekniskt problem. Det bästa verktyget för närvarande för icke-invasiv mätning av hjärnaktivitet är funktionell magnetisk resonanstomografi (fMRI), som har relativt hög rumslig upplösning [12, 13]. Det är dock relativt långsamma signaler som är beroende av syrenivån i blodet (BOLD) och som mäts med fMRI [9], särskilt i jämförelse med den naturliga synhastigheten och många andra mentala processer. Man har därför antagit att fMRI-data inte skulle vara användbara för modellering av hjärnaktivitet som framkallas under naturlig syn eller genom andra dynamiska mentala processer. Här presenterar vi en ny rörelseenergi [10, 11] kodningsmodell som till stor del övervinner denna begränsning. Modellen beskriver separat de neurala mekanismerna som förmedlar visuell rörelseinformation och deras koppling till mycket långsammare hemodynamiska mekanismer. I denna rapport validerar vi först denna kodningsmodell genom att visa att den beskriver hur rumslig och temporal information representeras i voxels genom hela visuell cortex. Vi använder sedan en Bayesian strategi [8] för att kombinera uppskattade kodning modeller med en prov prov naturfilm tidigare, för att producera rekonstruktioner av naturliga filmer från BOLD-signaler. Vi spelade in BOLD-signaler från tre människor medan de tittade på en serie naturliga färgfilmer (20 3 20 vid 15 Hz). En fixering uppgift användes för att kontrollera ögats position. Två separata datauppsättningar erhölls från varje försöksperson. Träningsdatan bestod av BOLD-signaler som framkallades av 7 200 s färg naturliga filmer, där varje film presenterades bara en gång. Dessa data användes för att passa en separat kodningsmodell för varje voxel belägen i bakre och ventral ockcipitotemporal visuell cortex. Testdatamängden bestod av BOLD-signaler som framkallades av 540 s färg naturliga filmer, där varje film upprepades tio gånger. Dessa data användes för att bedöma noggrannheten hos den kodande modellen och som mål för filmrekonstruktion. Eftersom de filmer som används för att träna och testa modeller var olika, ger detta tillvägagångssätt en rättvis och objektiv utvärdering av noggrannheten i kodning och avkodning modeller [2, 14]. BOLD-signaler som registrerats från varje voxel passade separat med hjälp av en tvåstegsprocess. Naturlig film stimuli filtrerades först av en bank av neuralt inspirerade ickelinjära enheter känsliga för lokal rörelseenergi [10, 11]. L1-regulariserad linjär regression [15, 16] användes sedan för att passa en separat hemodynamisk kopplingsterm till varje icke-linjärt filter (figur 1; se även Kompletterande experimentella förfaranden som finns på nätet). Den regulariserade regressionsmetoden som används här optimerades för att få bra skattningar även för beräkningsmodeller som innehåller tusentals regressorer. I detta avseende skiljer sig vårt tillvägagångssätt från de regressionsförfaranden som används i många andra fMRI-studier [17, 18]. För att avgöra hur mycket rörelseinformation som finns i BOLD-signaler jämförde vi förutsägelsenoggrannheten för tre olika kodningsmodeller (figur 2A-2C): en konventionell statisk modell som inte innehåller någon rörelseinformation [8, 19], en icke-riktad rörelsemodell som representerar lokal rörelseenergi men inte riktning, och en riktningsmodell som representerar både lokal rörelseenergi och riktning. Var och en av dessa modeller passade separat för varje Voxel som registrerats i varje försöksperson, och testdata användes för att bedöma prediktionsnoggrannheten för varje modell. Prediktionsnoggrannhet definierades som korrelationen mellan förutsedda och observerade BOLD-signaler. Den genomsnittliga noggrannheten mellan försökspersoner och voxlar i tidiga visuella områden (V1, V2, V3, V3A och V3B) var 0,24, 0,39 respektive 0,40 för de statiska, icke-riktade respektive riktningskodningsmodellerna (figur 2D respektive 2E; se figur S1A för jämförelser mellan ämne och område). Detta
Nishimoto m.fl. föreslog en metod för att visualisera dynamiska hjärnaktiviteter av användare som tittade på filmer, med hjälp av fMRI REF.
Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies
{'venue': 'Current Biology', 'journal': 'Current Biology', 'mag_field_of_study': ['Biology', 'Medicine']}