Under de senaste fem åren har vi observerat ökningen av otroligt väl utför feed-forward neurala nätverk tränas övervakat för vision relaterade uppgifter. Dessa modeller har uppnått övermänsklig prestanda på objektigenkänning, lokalisering och detektion i stillbilder. Det finns dock ett behov av att identifiera den bästa strategin för att använda dessa nätverk med tidsbundna visuella ingångar och få en robust och stabil representation av videodata. Inspirerad av det mänskliga visuella systemet föreslår vi en djup neural nätverk familj, CortexNet, som har inte bara bottom-up feedforward anslutningar, men också det modellerar den rikliga uppifrån-och-ned återkoppling och sidoanslutningar, som finns i vår visuella cortex. Vi introducerar två utbildningsprogram - det oövervakade MatchNet och svagt övervakade TempoNet-lägen - där ett nätverk lär sig att korrekt förutse en efterföljande ram i ett videoklipp eller identiteten på dess dominerande ämne, genom att lära egorörelse ledtrådar och hur man automatiskt spåra flera objekt i den nuvarande scenen. Hitta projektets hemsida på pigurl.com/CortexNet.
Canziani och Culurciello föreslog CortexNet neurala arkitektur REF för att få en robust och stabil representation av timliga visuella ingångar.
CortexNet: a Generic Network Family for Robust Visual Temporal Representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}