Den komplexa flerstegsarkitekturen av kortikala visuella banor ger den neurala grunden för effektiv visuell objektigenkänning hos människor. De stegvisa beräkningarna där är dock fortfarande dåligt förstådda. Här jämförde vi temporal (magnetoencefalografi) och rumsliga (funktionell MRI) visuella hjärnrepresentationer med representationer i ett artificiellt djupt neuralt nätverk (DNN) avpassat till statistiken över visuell igenkänning i verkligheten. Vi visade att DNN fångade stadierna av mänsklig visuell bearbetning i både tid och rum från tidiga visuella områden mot dorsal och ventrala strömmar. Ytterligare undersökning av viktiga DNN parametrar visade att även om modellarkitektur var viktigt, utbildning om verkliga kategorisering var nödvändig för att genomdriva spatio-temporala hierarkiska relationer med hjärnan. Tillsammans ger våra resultat en algoritmiskt informerad syn på den spatio-temporala dynamiken hos visuell objektigenkänning i den mänskliga visuella hjärnan. Visuell objektigenkänning hos människor medieras av komplex flerstegsbehandling av visuell information som snabbt växer fram i ett distribuerat nätverk av kortikala regioner [1] [2] [3] [4] [5] [6] [7]. Förstå visuell objektigenkänning i cortex kräver alltså en kvantitativ modell som fångar komplexiteten i den underliggande spatio-temporal dynamik [8] [9] [10]. Ett stort hinder för att skapa en sådan modell är den mycket ickelinjära och glesa karaktären hos neurala stämegenskaper i synområden på mellan- och hög nivå [11] [12] [13] som är svårt att fånga experimentellt och därmed okänt. Tidigare metoder för att modellera objektigenkänning i cortex byggde på extrapolering av principer från välförstådda lägre visuella områden som V1 8,9 och stark manuell intervention, uppnå endast blygsam uppgift prestanda jämfört med människor. Här tar vi en alternativ väg, konstruerar och jämför mot hjärnan signalerar en visuell beräkningsmodell baserad på djupa neurala nätverk (DNNs) [14] [15] [16], dvs.. datorseende modeller där modellen neuron tuning egenskaper ställs in genom övervakad lärande utan manuell intervention 14, 17. DNNs är de bäst presterande modeller på dator vision objekt erkännande riktmärken och ge mänskliga prestanda nivåer på objekt kategorisering 18, 19. Vi använde en trepartsstrategi för att avslöja den spatio-temporal bearbetning kaskade underliggande mänskliga visuella objekt erkännande av DNN modell jämförelser. För det första, eftersom objektigenkänning är en process som snabbt utvecklas över tid 3, [20] [21] [22], jämförde vi DNN visuella representationer till millisekunders löst magnetoencefalografi (MEG) hjärndata. Våra resultat avgränsar en ordnad relation mellan bearbetningsfaserna i en DNN och den tidsförlopp med vilken objekt representationer uppstår i den mänskliga hjärnan 23. För det andra, eftersom objektigenkänningen rekryterar en mängd distribuerade hjärnregioner, måste en fullständig redogörelse för objektigenkänning gå utöver analysen av några fördefinierade hjärnregioner [24] [25] [26] [27] [28], vilket avgör förhållandet mellan DNN och hela hjärnan. Med ett rumsligt opartiskt tillvägagångssätt avslöjade vi ett hierarkiskt förhållande mellan DNN och processkaskaden av både ventral och dorsal visuell väg.
I REF är författarna intresserade av stegvis beräkning.
Comparison of deep neural networks to spatio-temporal cortical dynamics of human visual object recognition reveals hierarchical correspondence
{'venue': 'Scientific Reports', 'journal': 'Scientific Reports', 'mag_field_of_study': ['Computer Science', 'Medicine']}