Många statistiska modeller för bearbetning av naturligt språk finns, inklusive sammanhangsbaserade neurala nätverk som (1) modellera det tidigare sett sammanhang som en latent funktion vektor, (2) integrera på varandra följande ord i sammanhanget med hjälp av några inlärda representation (inbäddning), och (3) beräkna utdata sannolikheter för inkommande ord med tanke på sammanhanget. Å andra sidan, hjärntomografi studier har föreslagit att under läsning, hjärnan (a) kontinuerligt bygger ett sammanhang från de på varandra följande orden och varje gång den möter ett ord den (b) hämtar sina egenskaper från minnet och (c) integrerar det med det tidigare sammanhanget med en grad av ansträngning som är omvänt proportionell mot hur troligt ordet är. Detta antyder en parallellism mellan neurala nätverk och hjärnan i modellering sammanhang (1 och a), som representerar inkommande ord (2 och b) och integrerar det (3 och c). Vi utforskar denna parallellism för att bättre förstå hjärnprocesserna och neurala nätverk representationer. Vi studerar anpassningen mellan de latenta vektorer som används av neurala nätverk och hjärnaktivitet som observerats via Magnetoencephalografi (MEG) när försökspersoner läser en berättelse. För det ändamålet tillämpar vi neurala nätverket på samma text som försökspersonerna läser, och utforskar förmågan hos dessa tre vektorrepresentationer att förutsäga den observerade hjärnaktiviteten ord för ord. Våra nya resultat visar att: innan ett nytt ord i läses är hjärnaktiviteten väl förutspådd av det neurala nätverket latent representation av sammanhang och förutsägbarheten minskar när hjärnan integrerar ordet och ändrar sin egen representation av sammanhang. För det andra, neurala nätverket inbäddning av ord jag kan förutsäga MEG aktivitet när ordet jag presenteras för ämnet, avslöjar att det är korrelerat med hjärnans egen representation av ord i. Dessutom får vi veta att aktiviteten förutspås i olika delar av hjärnan med varierande fördröjning. Fördröjningen är förenlig med placeringen av varje region på processbanan som börjar i den visuella cortex och flyttar till högre nivå regioner. Slutligen visar vi att den utgående sannolikhet som beräknas av neurala nätverk överensstämmer med hjärnans egen bedömning av sannolikheten för ordet i, eftersom det kan användas för att förutsäga hjärnans aktivitet efter ordet i egenskaper har hämtats från minnet och hjärnan är i processen att integrera det i sammanhanget.
Författarna i REF använder också ett återkommande neuralt nätverk för att förutsäga neural aktivitet direkt.
Aligning context-based statistical models of language with brain activity during reading
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}