Tidigare arbete avkodning språklig betydelse från avbildning data har till stor del begränsats till konkreta substantiv, använder liknande stimuli för utbildning och testning, från ett relativt litet antal semantiska kategorier. Här presenterar vi ett nytt tillvägagångssätt för att bygga ett system för avkodning av hjärnan där ord och meningar representeras som vektorer i ett semantiskt utrymme konstruerat av massiv textkorpora. Genom effektiv provtagning detta utrymme för att välja utbildning stimuli visas för försökspersoner, maximerar vi förmågan att generalisera till nya betydelser från begränsade bilddata. För att validera detta tillvägagångssätt utbildar vi systemet på avbildning data av enskilda begrepp, och visar det kan avkoda semantiska vektorrepresentationer från avbildning data av meningar om en mängd olika både konkreta och abstrakta ämnen från två separata datauppsättningar. Dessa avkodade representationer är tillräckligt detaljerade för att skilja även semantiskt liknande meningar, och för att fånga likheten struktur betydelse samband mellan meningar. H umans har den unika förmågan att översätta tankar till ord, och att dra slutsatser av andras tankar från deras uttalanden. Denna förmåga är baserad på mentala representationer av mening som kan kartläggas till språk, men som vi inte har någon direkt tillgång till. Förhållningssättet till betydelsen representation som för närvarande dominerar området för naturligt språk bearbetning bygger på distributionssemantiska modeller, som vilar på den enkla men kraftfulla idén att ord liknande i betydelsen förekommer i liknande språkliga sammanhang 1. Ett ord representeras som en semantisk vektor i ett högdimensionellt utrymme, där likheten mellan två ord vektorer återspeglar likheten mellan de sammanhang där dessa ord förekommer i språket 2. Dessa representationer av språklig mening fånga mänskliga bedömningar i olika uppgifter, från betydelse likhet bedömningar till begrepp kategorisering 3,4. På senare tid har dessa modeller utvidgats utöver enstaka ord för att uttrycka meningar och meningar [5] [6] [7], och de resulterande representationerna förutsäger mänskliga likhetsdomar för menings- och meningsparafraser 8, 9. För att testa om dessa distribuerade avbildningar av betydelse är neuralt rimliga, ett antal studier har försökt att lära sig en kartläggning mellan särskilda semantiska dimensioner och mönster av hjärnaktivering (se ref. 10 för ett perspektiv på dessa tekniker). Om en sådan kartläggning kan göra förutsägelser om neurala svar på nya stimuli, skulle det föreslå att den underliggande modellen har framgångsrikt fångat vissa aspekter av vår representation av mening. Tidiga studier visade att det är möjligt att avkoda identiteten på bild/videostimuli från motsvarande hjärnaktiveringsmönster, främst i ventral visuell cortex [11] [12] [13] [14] [15]. På senare tid har studier visat att liknande avkodning är möjlig för verbala stimuli, som ord [16] [17] [18] [19] [21] [22], textfragment 23,24, eller meningar 25, 26. För att representera betydelsen har dessa studier använt semantiska drag som postulerats av forskare, framkallats från mänskliga deltagare, eller härletts från textkorpora baserat på mönster av lexisk samtidig förekomst. Den huvudsakliga begränsningen av dessa tidigare studier är användningen av relativt små och/ eller begränsade uppsättningar av stimuli, vilket lämnar öppen frågan om huruvida modellerna skulle generalisera till betydelser utöver dem som de byggdes för att rymma. Vidare, användningen av semantiska funktioner framkallas från mänskliga deltagare (t.ex., frågar "är X kapabel till rörelse?") är begränsat till konkreta substantiv (eftersom vi inte har modeller av vad funktioner kännetecknar abstrakta substantiv eller verb), och inte lätt skala till en typisk vokabulär av tiotusentals ord, eller mer än en liten uppsättning semantiska funktioner. Här introducerar vi en metod för att bygga en universell hjärndekoder som kan härleda betydelsen av ord, fraser eller meningar från mönster av hjärnaktivering efter att ha utbildats på en begränsad mängd avbildningsdata. Vårt mål var att utveckla ett system som skulle arbeta med att avbilda data som samlats in medan ett ämne läser naturalistiska språkliga stimuli om potentiellt något ämne, inklusive abstrakta idéer. Med tanke på avbildningsdata bör systemet producera en kvantitativ representation av psykiskt innehåll en semantisk vektor-som kan användas i klassificeringsuppgifter eller andra typer av utdatagenerering (t.ex. ordmoln). Vår dekoder tränades på hjärnaktivering mönster i varje deltagare framkallas när de läser enskilda ord, och motsvarande semantiska vektorer 27. Vårt huvudantagande var att variationen i varje dimension av det semantiska rummet skulle motsvara variationen i aktiveringsmönstren, och dekodern kunde utnyttja denna korrespondens för att lära sig förhållandet mellan de två. Detta motiverades av tidigare studier som visade att aktiveringsmönstren för semantiskt relaterade stimuli var mer lika varandra än för orelaterade stimuli 16, 19.Dekodern använde sedan detta förhållande för att dra slutsatsen i vilken grad varje dimension var närvarande i nya aktiveringsmönster som samlats in från samma deltagare, och för att producera semantiska vektorer som representerar deras innehåll. Om detta förhållande verkligen kan läras, och om vårt träningsset täcker alla dimensioner av det semantiska rummet, då kan vilken betydelse som helst som kan representeras av en semantisk vektor i princip avkodas. Den viktigaste utmaningen är täckningen av det semantiska utrymmet genom orden i träningssetet. Denna uppsättning är begränsad till några hundra stimuli som mest per avbildning session som (i) flera upprepningar per ord behövs eftersom den funktionella magnetiska resonanstomografi (fMRI) data är bullriga, och (ii) stimuli behöver vara tillräckligt separerade i tid med tanke på att fMRI-signalen är tidsmässigt utsmetad. Helst skulle vi få hjärnan aktiveringsdata för alla ord i ett grundläggande ordförråd (~30 000 ord 28 ) och använda dem för att träna dekoder. Med tanke på den avsökningstid som krävs är detta tillvägagångssätt emellertid inte praktiskt. För att kringgå denna begränsning utvecklade vi ett nytt förfarande för att välja representativa ord som täcker det semantiska utrymmet. Vi utförde tre fMRI-experiment. Experiment 1 använde individuella begrepp som stimuli, med två mål. Den första var att validera vårt tillvägagångssätt för att ta prover på det semantiska utrymmet genom att testa om en dekoder som är utbildad på att avbilda data för enskilda begrepp skulle generalisera till nya begrepp. Det andra målet var att jämförelsevis utvärdera tre experimentella metoder för att belysa den relevanta betydelsen av ett givet ord, nödvändigt eftersom de flesta ord är tvetydiga. Experiment 2 och 3 använde textavsnitt som stimuli. Deras mål var att testa om en dekoder utbildad på individuella koncept avbilda data skulle avkoda semantiska vektorer från mening avbilda data. Stimulin för båda experimenten utvecklades oberoende av de i experiment 1. Särskilt för experiment 2 använde vi material som utvecklats för en tidigare opublicerad studie, med ämnen utvalda för att spänna över ett brett spektrum av semantiska kategorier. För experiment 3 använde vi material som utvecklats av vår finansiär, även utformat för att spänna över olika ämnen. Experiment 3 genomfördes efter det att vår dekoder levererades till finansiären, för att ge en opartisk bedömning av avkodningsresultatet. Vi visar att en avkodare som är utbildad på en begränsad uppsättning av enskilda ords betydelser på ett kraftfullt sätt kan avkoda meningarnas betydelser, representerade som ett enkelt genomsnitt av innehållsordens betydelser. Dessa representationer är tillräckligt finkorniga för att skilja även semantiskt liknande meningar, och fånga likhetsstrukturen i de inter-sentens semantiska relationer. Parcellering och provtagning av det semantiska utrymmet. Vi fick semantiska vektorer för alla ord i ett grundläggande ordförråd på cirka 30.000 ord, utvalda från ref. 28............................................................... Vi använde 300-dimensionella GloVe vektorer, eftersom denna representation visade sig vara överlägsen andra i experiment förutsäga beteendedata 4. Vi använde sedan spektralkluster 29 för att gruppera ord i 200 regioner (semantiska kluster, se underavsnittet "Spektral klustring av semantiska vektorer" i Metoder). Nästan alla regioner (kluster) som blev resultatet av detta förfarande kunde intuitivt tolkas. Vissa motsvarade klassiska begreppskategorier (t.ex. bostäder eller kroppsdelar); andra var mer abstrakta (t.ex. dygder eller sinnestillstånd/känslor); medan andra inte passade in i någon av de klassiska kategorierna, utan lånade sig lätt till karakterisering (t.ex. storlek/numericitet eller sätt att tala). Vi uteslöt 20 regioner på grund av bristande tolkningsförmåga; dessa innehöll antingen mycket ovanliga ord (vilket resulterade i uppskattningar av semantiska vektorer) eller extremt vanliga (vilket resulterade i oinformativa semantiska vektorer). Vi har sedan handvalt representativa ord från var och en av de återstående 180 regionerna, som användes för att skapa stimuli för experiment 1 (se underavsnittet "Design of fMRI experiment 1 on words" i Metoder). En undergrupp av regioner och markerade ord visas i bild. 1................................................................ Experiment 1 om enkel konceptavkodning. Vår dekoder är tränad på hjärnaktivering mönster i varje deltagare framkallas av enskilda ord och motsvarande semantiska vektorer (Fig. 2a)................................................................................................ Dekoder använder den inlärda relationen för att dra slutsatsen i vilken grad varje dimension är närvarande i nya aktiveringsmönster som samlats in från samma deltagare, och utgångar semantiska vektorer som representerar deras innehåll (Fig. 2b)........................................................................................................... Varje dimension förutsägs med hjälp av olika regression med parametrar beräknade från träningsdata (se "Decoding methodology" i Metoder). Hjärnavbildningsdata som användes för att bygga avkodaren samlades in i experiment 1 och fokuserade på enstaka begrepp. Vi använder termen begrepp istället för ord eftersom ord presenterades för att rikta en viss mening, med tanke på att de flesta ord är tvetydiga. Vi skannade 16 deltagare i tre paradigm (Fig. 3), Alla syftar till att belysa den relevanta betydelsen av var och en av 180 ord (128 substantiv, 22 verb, 29 adjektiv och adverbs, och 1 funktionsord), valt (som beskrivs i "Stimulus val och semantisk rymdtäckning" i Metoder). I det första paradigmet presenterades målordet i samband med en mening som gjorde den relevanta betydelsen framträdande. I det andra, målordet presenterades med en bild som avbildade några aspekter av den relevanta betydelsen. I den tredje, var målordet presenteras i en "moln", omgiven av fem representativa ord från klustret. Dessa paradigmer valdes över ett enklare paradigm där målordet framträder isolerat eftersom ord är mycket tvetydiga, särskilt utanför de konkreta substantivens sfär. Dessa paradigm ser till att ämnet tänker på den relevanta (avsedda) betydelsen av varje ord. För varje koncept, vi kombinerade stimulans upprepningar (4-6 för varje paradigm) med hjälp av en allmän linjär modell för att producera en hjärnbild per paradigm per deltagare (begränsat till en grå materia mask på ~ 50.000 voxels 30 ). För vissa analyser, inklusive avkodningsanalyser för experiment 2 och 3, beräknade vi ytterligare bilderna för varje koncept över de tre paradigmerna (se underavsnittet "fMRI datainsamling och bearbetning" i Metoder). Vi utvärderade avkodaren genom att träna den och testa den med hjälp av olika undergrupper av de 180 koncepten på ett korsvaliderat sätt. För varje deltagare delade vi iterativt in data i 170 koncept för utbildning av en dekoder, och 10 återstående koncept för testning. I varje sådan partition, valde vi 5000 voxels (~10% av den totala) av i vilken grad de kunde förutsäga semantiska vektorer för 170 träningskoncept; vi tränade sedan dekoder med hjälp av dessa voxels (se "Decoding methodhodhodology" i Metoder). För varje vänster koncept avkodades en semantisk vektor från motsvarande aktiveringsmönster, vilket resulterade i 180 avkodade vektorer, efter att alla iterationer hade ägt rum. Vi utförde detta förfarande med hjälp av data från varje paradigm separat eller genomsnittet av de tre paradigmerna. Decoding prestanda utvärderades på två sätt. Den första var en parvis klassificering uppgift där, för varje möjligt par av ord, vi beräknade likheten mellan de avkodade vektorerna och "sanna" (text-härledda) semantiska vektorer (Fig. 2b, höger). Om de avkodade vektorerna var mer lika sina respektive textbaserade semantiska vektorer än alternativet, ansåg vi att klassificeringen var korrekt. Det slutliga noggrannhetsvärdet för varje deltagare är fraktionen av korrekta par. Den andra var en rank noggrannhet klassificering uppgift där vi jämförde varje avkodad vektor till alla 180 text-härledda semantiska vektorer, och rangordnade dem efter deras likhet (Fig. 2c, höger). Klassificeringsprestandan återspeglar rangen av den texthärledda vektorn för det korrekta ordet: 1 om den är högst upp på rangen, 0 om den är längst ner och mellan annars. Det slutliga noggrannhetsvärdet för varje deltagare är den genomsnittliga ranknoggrannheten för de 180 begreppen. Nollhypotesvärdet (chansprestanda) är 0,5 för båda måtten, men de statistiska testerna är olika (se underavsnittet "Statistical testing of results" i Metoder). Vi klassificerade robust vänster-out koncept för var och en av 16 deltagare när du använder bilderna i genomsnitt över de tre paradigm eller när du använder bilden paradigm, för 10 av de 16 deltagarna när du använder meningen paradigm, och för 7 av de 16 deltagarna när du använder ordet moln paradigm (mean accuracies: 0,77, 0,73, 0,69 och 0,64; alla signifikanta resultat har p-värden < 0,01, med hjälp av en konservativ binomial test med Bonferroni korrigering för antalet deltagare (16) och experiment (4); Bild. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Den genomsnittliga ranknoggrannheten (vid användning av bilderna i genomsnitt över de tre paradigmerna) var 0,74 (alla signifikanta resultat har p-värden < 0,01 med hjälp av ett test baserat på en normal approximation till nollfördelningen, med Bonferroni korrigering för antalet deltagare (16) och experiment (3); resultaten visas i bild. 4b, p-värden för varje ämne / uppgift finns i kompletterande tabell 1). Experiment 2 och 3 om avkodning av meningar. Med tanke på att experiment 1 visade att vårt tillvägagångssätt skulle kunna generaliseras till nya begrepp, utförde vi ytterligare två experiment för att testa avkodningen av meningsbetydelser med hjälp av stimuli konstruerade oberoende av materialen i experiment 1 och av varandra. I experiment 2 använde vi en uppsättning 96 textavsnitt, var och en bestående av 4 meningar om ett visst begrepp, som spänner över ett brett spektrum av
Vårt arbete är till stor del byggt på REF, som hittills är det mest omfattande försöket att avkoda betydelse representationer från hjärnavbildning data.
Toward a universal decoder of linguistic meaning from brain activation
{'venue': 'Nature Communications', 'journal': 'Nature Communications', 'mag_field_of_study': ['Medicine', 'Biology']}