Viktiga framsteg har nyligen gjorts med hjälp av beräkningssemantiska modeller för att avkoda hjärnaktivitetsmönster förknippade med begrepp; dock har detta arbete nästan uteslutande fokuserat på konkreta substantiv. Hur väl dessa modeller sträcker sig till avkodning abstrakt substantiv är till stor del okänt. Vi tar upp denna fråga genom att tillämpa toppmoderna beräkningsmodeller för att avkoda funktionell magnetisk resonansimulering (fMRI) aktivitetsmönster, framkallade av deltagare som läser och föreställer sig en mängd olika uppsättning av både konkreta och abstrakta substantiv. En av de modeller vi använder är språkliga, utnyttjar den senaste ord 2vec skipgram metod tränas på Wikipedia. Den andra är visuellt jordade, med hjälp av djupa konvolutionella neurala nätverk utbildade på Google Images. Dual kodning teori anser att konkreta begrepp ska kodas i hjärnan både språkligt och visuellt, och abstrakta begrepp endast språkligt. Genom att dela upp fMRI-data efter människans konkreta egenskaper kan vi konstatera att båda modellerna avsevärt avkodar de mest konkreta substantiven, men noggrannheten är betydligt större med hjälp av de textbaserade modellerna för de mest abstrakta substantiven. Mer allmänt bekräftar detta att nuvarande beräkningsmodeller är tillräckligt avancerade för att hjälpa till med att undersöka representationsstrukturen hos abstrakta begrepp i hjärnan.
Med hjälp av beräkningsmodeller avkodar REF funktionella magnetiska resonansimuleringsmönster (fMRI) som förknippas med konkreta och abstrakta ord.
Visually Grounded and Textual Semantic Models Differentially Decode Brain Activity Associated with Concrete and Abstract Nouns