Vi utforskar en metod för att rekonstruera visuella stimuli från hjärnaktivitet. Med hjälp av stora databaser av naturliga bilder tränade vi en djup konvolutionell generativ kontrariska nätverk som kan generera gråskala bilder, liknande stimuli presenteras under två funktionella magnetiska resonanstomografi experiment. Med hjälp av en linjär modell lärde vi oss att förutsäga den generativa modellens latenta utrymme från uppmätt hjärnaktivitet. Målet var att skapa en bild liknande den presenterade stimulansbilden genom den tidigare tränade generatorn. Med hjälp av detta tillvägagångssätt kunde vi rekonstruera strukturella och några semantiska egenskaper hos en del av de naturliga bilduppsättningarna. Ett beteendetest visade att försökspersonerna kunde identifiera en rekonstruktion av den ursprungliga stimulansen i 67,2 % respektive 66,4 % av fallen i en parvis jämförelse för de två naturliga bilddatauppsättningarna. Vårt tillvägagångssätt kräver inte end-to-end utbildning av en stor generativ modell på begränsad neuroimering data. Snabba framsteg i generativ modellering lovar ytterligare förbättringar i återuppbyggnaden prestanda.
Dessutom tränade de en djup konvolutionell generativ kontrarioral nätverk för att generera grå skala bilder REF.
Generative adversarial networks for reconstructing natural images from brain activity
{'venue': None, 'journal': 'Neuroimage', 'mag_field_of_study': ['Psychology', 'Computer Science', 'Medicine']}