Traditionella distributionssemantiska modeller extraherar ordbetydelse representationer från kooccurrence mönster av ord i text corpora. På senare tid har distributionssättet utvidgats till modeller som registrerar sammanfallande ord med visuella egenskaper i bildsamlingar. Dessa bildbaserade modeller bör komplettera textbaserade modeller och ge en mer kognitivt rimlig syn på betydelsen som grundar sig på visuell perception. I denna studie testar vi om bildbaserade modeller fångar de semantiska mönster som uppstår från fMRI-inspelningar av neuralsignalen. Våra resultat visar att det faktiskt finns ett betydande samband mellan bildbaserade och hjärnbaserade semantiska likheter, och att bildbaserade modeller kompletterar textbaserade, så att de bästa korrelationerna uppnås när de två metoderna kombineras. Trots vissa otillfredsställande, men förklarade resultat (särskilt, underlåtenhet att upptäcka differentialisering av modeller med hjärnområden), visar resultaten, å ena sidan, att bildbaserade fördelningssemantiska modeller kan vara ett värdefullt nytt verktyg för att utforska semantisk representation i hjärnan, och, å andra sidan, att neurala data kan användas som den ultimata testuppsättningen för att validera artificiella semantiska modeller i termer av deras kognitiva rimlighet.
Experimenten i REF lyckades dock inte upptäcka olika interaktioner mellan semantiska modeller och hjärnområden.
Of Words, Eyes and Brains: Correlating Image-Based Distributional Semantic Models with Neural Representations of Concepts
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}