Den ventrala visuella strömmen ligger till grund för viktiga mänskliga synobjektsigenkänningsförmågor. Emellertid är neural kodning i de högre områdena av ventralströmmen fortfarande dåligt förstådd. Här beskriver vi en modelleringsmetod som ger en kvantitativt korrekt modell av underlägsen temporal (IT) cortex, det högsta ventralkortikala området. Med hjälp av avancerade beräkningstekniker upptäckte vi att det inom en klass av biologiskt rimliga hierarkiska neurala nätverksmodeller finns en stark korrelation mellan en modells kategoriseringsförmåga och dess förmåga att förutsäga individuella data från IT-neurala enheter. För att fullfölja denna idé, identifierade vi sedan en högpresterande neurala nätverk som matchar mänskliga prestanda på en rad igenkänningsuppgifter. Critically, även om vi inte begränsa denna modell för att matcha neural data, dess topp output lager visar sig vara mycket prediktiv av IT spika svar på komplexa naturalistiska bilder på både enstaka plats och befolkningsnivåer. Dessutom är modellens mellanskikt mycket prediktiva av neurala svar i V4 cortex, ett mellannivå visuellt område som ger den dominerande kortikal indata till IT. Dessa resultat visar att prestandaoptimering som tillämpas i en biologiskt lämplig modellklass kan användas för att bygga kvantitativa prediktiva modeller av neural bearbetning. beräknings neuroscience  på datorseende  med elektrofysiologi R etinala bilder av verkliga objekt varierar drastiskt på grund av förändringar i objektpose, storlek, position, belysning, icke-rigid deformation, ocklusion, och många andra källor till buller och variation. Människor känner utan ansträngning igen föremål snabbt och exakt trots denna enorma variation, en imponerande beräkningsuppgift (1). Denna förmåga stöds av en uppsättning sammankopplade hjärnområden som kollektivt kallas ventral visuell ström (2, 3), med homologa områden i icke-mänskliga primater (4). Ventralströmmen anses fungera som en serie hierarkiska bearbetningssteg (5-7) som kodar bildinnehåll (t.ex. objektidentitet och kategori) alltmer explicit i på varandra följande kortikala områden (1, 8, 9). Till exempel är neuroner i det lägsta området, V1, väl beskrivna av Gabor-liknande kantdetektorer som extraherar grova objekt konturer (10), även om V1-populationen inte visar robust tolerans mot komplexa bildomvandlingar (9). Omvänt, snabbt framkallad befolkning aktivitet i toppnivå sämre temporal (IT) cortex kan direkt stödja realtid, invariant objekt kategorisering över ett brett spektrum av uppgifter (11, 12). Mellannivå ventralområden, t.ex. V4, den dominerande cortical inputen till IT-exhibit mellanliggande nivåer av objektselektivitet och variationstolerans (12) (13) (14). Betydande framsteg har gjorts när det gäller att förstå nedre ventrala områden som V1, där konceptuellt övertygande modeller har upptäckts (10). Dessa modeller är också kvantitativt korrekta och kan förutsäga respons magnituder av enskilda neuronal enheter till nya bild stimuli. Högre ventralkortikala områden, särskilt V4 och IT, har varit mycket svårare att förstå. Även om första principer-baserade modeller av högre ventrala cortex har föreslagits (15-20), dessa modeller misslyckas med att matcha viktiga egenskaper i den högre ventrala visuella neural representation i både människor och macaques (4, 21). Dessutom har försök att passa V4 och IT neural tuning kurvor på allmänna bild stimuli visat endast begränsad prediktiv framgång (22, 23). Att förklara neuralkodningen i dessa högre ventrala områden är således fortfarande en grundläggande öppen fråga inom system neurovetenskap. Som med V1 bör modeller av högre ventrala områden vara neuralt prediktiva. Eftersom den högre ventralströmmen också tros ligga till grund för sofistikerade kapaciteter för att känna igen objekt, måste modellerna också matcha IT på prestandamått, motsvarande (eller överstigande) avkodningskapaciteten hos IT-neuroner på objektigenkänningsuppgifter. En modell med perfekt neural prediktivitet i IT kommer nödvändigtvis att uppvisa hög prestanda, eftersom IT själv gör. Här visar vi att det motsatta också är sant, inom en biologiskt lämplig modellklass. Genom att kombinera avancerade beräknings- och elektrofysiologitekniker utforskar vi ett brett spektrum av biologiskt rimliga hierarkiska neurala nätverksmodeller och bedömer dem sedan mot uppmätta data för IT och V4 neural respons. Vi visar att det finns ett starkt samband mellan en modells prestanda på en utmanande objektigenkänningsuppgift med hög variation och dess förmåga att förutsäga individuella IT-neuralenheters svar. Genom att utöka denna idé, använde vi optimeringsmetoder för att identifiera en neural nätverksmodell som matchar mänskliga prestanda på en rad igenkänningsuppgifter. Vi visar sedan att även om denna modell aldrig uttryckligen begränsas till att matcha neural data, dess utdataskikt är mycket prediktiv av neurala svar i IT cortex-framställa en första kvantitativt exakt modell av denna högsta ventral cortex område. Dessutom är de mellersta skikten av modellen mycket prediktiva av V4 neurala svar, vilket tyder på top-down prestanda begränsningar direkt form mellanliggande visuella representationer. Människor och apor känner lätt igen föremål i scener. Denna förmåga är känd för att stödjas av ett nätverk av hierarkiskt sammankopplade hjärnområden. Men förståelse neuroner i högre nivåer av denna hierarki har länge förblivit en stor utmaning i visuella system neurovetenskap. Vi använder beräkningstekniker för att identifiera en neural nätverksmodell som matchar mänsklig prestanda på utmanande objekt kategorisering uppgifter. Även om denna modell inte uttryckligen begränsas till att matcha neural data, visar sig vara mycket prediktiv av neurala svar i både V4 och lägre temporal cortex, de två översta skikten av ventral visuell hierarki. Förutom att ge kraftigt förbättrade modeller av visuell cortex, dessa resultat tyder på att en process för biologisk prestandaoptimering direkt formade neurala mekanismer.
Vid korsningen av neurovetenskap och datorseende, Yamins et al. REF finner att funktionssvar från högpresterande CNNs kan exakt modellera den neurala responsen av det mänskliga visuella systemet i den lägre temporal (IT) cortex (ett område i den mänskliga hjärnan som svarar på komplexa visuella stimuli).
Performance-optimized hierarchical models predict neural responses in higher visual cortex
{'venue': 'Proceedings of the National Academy of Sciences of the United States of America', 'journal': 'Proceedings of the National Academy of Sciences of the United States of America', 'mag_field_of_study': ['Computer Science', 'Medicine']}