Embodimentteorin förutsäger att mentala bilder av objektord rekryterar neurala kretsar som är involverade i objektperceptionen. Graden av visuellt bildspråk som förekommer i rutinmässigt tänkande och hur det kodas i hjärnan är till stor del okänd. Vi testar om fMRI aktivitetsmönster framkallas av deltagare läsa objekt namn inkluderar förkroppsligade visuella objekt representationer, och om vi kan avkoda representationerna med hjälp av nya beräkningsbildbaserade semantiska modeller. Vi tillämpar först bildmodellerna tillsammans med textbaserade semantiska modeller för att testa förutsägelser om visuell-specifikitet av semantiska representationer i olika hjärnregioner. Representativ likhetsanalys bekräftar att fMRI-strukturen inom ventral-temporala och lateral-occipitala regioner bäst korrelerar med bildmodellerna och omvänt korrelerar textmodeller bättre med bakre-parietala/lateral-temporala/inferior-frontala regioner. Vi använder en oövervakad avkodningsalgoritm som utnyttjar gemensamma egenskaper i representationsliknande struktur som finns inom både bildmodell och hjärndata för att klassificera förkroppsligade visuella representationer med hög noggrannhet (8/10) och sedan utvidga den till att utnyttja modellkombinationer för att kraftfullt avkoda olika hjärnregioner parallellt. Genom att fånga latent visuell-semantisk struktur ger våra modeller en väg till att analysera neurala representationer som härrör från tidigare perceptuella erfarenheter snarare än stimulansdriven hjärnaktivitet. Våra resultat verifierar också nyttan av att kombinera multimodala data för att modellera människolika semantiska representationer. © 2015 Elsevier Inc. Alla rättigheter förbehållna. Embodimentteorin förutsäger att visuella aspekter av objektrelaterad semantisk kunskap simuleras i det visuella systemet även vid läsning, men det finns föga kvantitativ information om djupet och den rumsliga fördelningen av visuellt innehåll i inbillade representationer. Denna artikel använder nya bildbaserade beräkningsmodeller av generiska begrepp för att skilja visuellt från icke-visuella aspekter av fMRI aktivitetsmönster som styrs av att läsa objekt substantiv, utan att deltagaren uttryckligen har ombetts att mentalt visualisera specifika objektbilder (som i tidigare studier klassificera mentala bilder t.ex. Lee et al., 2012; Reddy et al., 2010) och kvantitativt visar detaljerade visuella bilder genom att avkoda flera kategorier från dess innehåll med hjälp av modellerna. Vi inriktar oss på tre frågor: 1) Uppväcks visuellt förkroppsligade objektrepresentationer när människor läser och begrundar objektord? (2) Hur är visuellt förkroppsligade representationer fördelade i hela cortex och hur relaterar denna distribution till språkbaserade semantiska representationer? (3) Hur detaljerad är den visuella objekt mentala bilder - kan våra modeller korrekt tilldela etiketter till flera objekt kategorier i omärkta hjärnrepresentationer? Varför kan vi förvänta oss att läsa för att framkalla visuella objekt representationer i hjärnan? Bygga successivt på beteendebevis som stöder både Paivios (1971) dubbelkodningsteori och Glasers (1992) lexikala hypotesteori, beteende/fMRI-bevis för Barsalou et al."s (2008) språk och belägen simuleringsteori, senaste EEG resultat stöder uppfattningen att ordförståelse innebär inledande aktivering av en ytlig språkbaserad konceptuell representation (för snabb semantisk utvärdering) som senare kompletteras av en djupare simulering av de visuella egenskaperna hos konceptet (Louwerse och Hutchinson, 2012). Mer allmänt stöder en ökande mängd bevis uppfattningen att NeuroImage 120 (2015) 309-322
Medan REF finner att språkliga endast semantiska modeller bättre förutsäga hjärnaktivitet i samband med språklig bearbetning, och bildbaserade semantiska modeller bättre förutsäga likhet inom den visuella bearbetning delar av hjärnan.
Reading visually embodied meaning from the brain: Visually grounded computational models decode visual-object mental imagery induced by written text
{'venue': 'NeuroImage', 'journal': 'NeuroImage', 'mag_field_of_study': ['Medicine', 'Computer Science']}