Modellen består av två bearbetningssteg: ett tidigt representationsskikt och ett andra lager där invarianter uttryckligen representeras. Invarianter lär sig som ett resultat av att faktorisera isär de temporalt stabila och dynamiska komponenter inbäddade i den tidiga funktionsrepresentationen. Strukturen i dessa komponenter görs explicit i verksamheten i andra lager enheter som fångar invarianter i både form och rörelse. När det första skiktet tränas på naturfilmer producerar det en faktorisering, eller separation, av bildinnehållet till en tidsmässigt ihållande del som representerar lokal kantstruktur och en dynamisk del som representerar lokal rörelsestruktur, som överensstämmer med kända responsegenskaper i tidig visuell cortex (område V1). Denna faktorisering lineariserar statistiska beroenden bland de första skiktenheterna, vilket gör dem lärbara genom det andra skiktet. De andra skiktenheterna delas upp i två populationer enligt faktoriseringen i det första skiktet. Formselektiva enheter får sin ingång från den temporalt ihållande delen (lokal kantstruktur) och efter träning resulterar i en mängd olika former av högre ordning som består av förlängda konturer, flerskaliga kanter, texturer och texturgränser. De rörelseselektiva enheterna får sin ingång från den dynamiska delen (lokal rörelsestruktur) och efter träning resulterar i en representation av bildöversättning över olika rumsliga skalor och riktningar, förutom mer komplexa deformationer. Dessa representationer ger en rik beskrivning av dynamiska naturliga bilder och testerbara hypoteser om mellannivå representation i visuell cortex.
REF ] tränar en komplext värderad sparsam kodningsmodell för att fånga kantstruktur och rörelsestruktur.
Learning Intermediate-Level Representations of Form and Motion from Natural Movies
{'venue': 'Neural Computation', 'journal': 'Neural Computation', 'mag_field_of_study': ['Mathematics', 'Medicine', 'Computer Science']}