Djupa artificiella neurala nätverk med rumsligt upprepad bearbetning (även kallad djup konvolutionella ANN) har etablerats som den bästa klassen av kandidatmodeller för visuell bearbetning i primat ventral visuell bearbetning ström. Under de senaste fem åren har dessa ANN utvecklats från en enkel feedforward arkitektur i åtta lager i AlexNet till extremt djupa och grenade NAS-Net-arkitekturer, som visar allt bättre objektkategorisering prestanda och allt bättre förklarande kraft både neurala och beteendemässiga svar. Ur neuroforskarens synvinkel är emellertid förhållandet mellan sådana mycket djupa arkitekturer och den ventrala visuella banan ofullständigt på åtminstone två sätt. Å ena sidan verkar nuvarande toppmoderna ANN vara alltför komplexa (t.ex. nu över 100 nivåer) jämfört med den relativt grunda cortical hierarkin (4-8 nivåer), vilket gör det svårt att kartlägga sina element till dem i ventral visuell ström och förstå vad de gör. Å andra sidan, nuvarande state-of-the-art ANNs verkar inte vara tillräckligt komplext i att de saknar återkommande anslutningar och resulterande neural respons dynamik som är vanligt förekommande i ventral visuell ström. Här beskriver vi våra pågående insatser för att lösa båda dessa frågor genom att utveckla en "CORnet" familj av djupa neurala nätverk arkitekturer. Istället för att bara söka hög objektigenkänningsprestanda (som toppmoderna ANN ovan), försöker vi istället reducera modellfamiljen till dess viktigaste element och sedan gradvis bygga nya ANN med återkommande och hoppa över anslutningar samtidigt som vi övervakar både prestanda och matchning mellan varje ny CORnet-modell och en stor kropp av primathjärna och beteendedata. Vi rapporterar här att vår nuvarande bästa ANN-modell härledd från detta tillvägagångssätt (CORnet-S) är bland de bästa modellerna på Brain-Score, ett sammansatt riktmärke för att jämföra modeller med hjärnan, men är enklare än andra djupa ANN när det gäller antalet konvolutioner som utförs längs den längsta vägen av informationsbehandling i modellen. Alla CORnet modeller finns tillgängliga på github.com/dikarlolab/CORnet, och vi planerar att uppdatera detta manuskript och de tillgängliga modellerna i denna familj som de produceras. Relevans: qbilius@mit.edu (J.K), mschrimmf@mit.edu (M.S.), dicarlo@mit.edu (J.J.D.) * Lika bidrag Vi kritiserar inte maskininlärning och dator vi-Kubilius, Schrimpf et al. BioRχiv 4 september 2018 1-9 september 2018
Intressant här är den goda prestanda av Cornet-S REF, som är inspirerad av den relativt grunda kortikal hierarki (4-8 nivåer) som observeras i mänskliga hjärnor.
CORnet: Modeling the Neural Mechanisms of Core Object Recognition
{'venue': None, 'journal': 'bioRxiv', 'mag_field_of_study': ['Biology']}