Vi diskuterar relationer mellan Residual Networks (ResNet), Recurrent Neural Networks (RNN) och den primära visuella cortex. Vi börjar med observationen att en grund RNN exakt motsvarar en mycket djup ResNet med viktdelning bland lagren. Ett direkt genomförande av en sådan RNN, även om det har storleksordningar färre parametrar, leder till en prestanda som liknar motsvarande ResNet. Vi föreslår 1) en generalisering av både RNN och ResNet arkitekturer och 2) antagandet att en klass av måttligt djupa RNNs är en biologiskt läsbar modell av ventralströmmen i visuell cortex. Vi demonstrerar arkitekturernas effektivitet genom att testa dem på CIFAR-10 datasetet.
I REF generaliserade författarna både RNN- och ResNet-arkitekturerna genom att dela hela restenheten i CNN:erna.
Bridging the Gaps Between Residual Learning, Recurrent Neural Networks and Visual Cortex
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}