Stora framsteg har gjorts när det gäller att använda algoritmer för djupinlärning för att lösa övervakade inlärningsuppgifter, men problemet med oövervakat lärande – att utnyttja omärkta exempel för att lära sig om strukturen i en domän – kvarstår som en svår olöst utmaning. Här utforskar vi förutsägelser om framtida ramar i en videosekvens som en oövervakad inlärningsregel för att lära sig om den visuella världens struktur. Vi beskriver en prediktiv neural nätverk ("PredNet") arkitektur som är inspirerad av begreppet "prediktiv kodning" från neurovetenskap litteratur. Dessa nätverk lär sig att förutsäga framtida ramar i en videosekvens, med varje lager i nätverket gör lokala förutsägelser och endast vidarebefordra avvikelser från dessa förutsägelser till efterföljande nätverkslager. Vi visar att dessa nätverk på ett robust sätt kan lära sig att förutsäga förflyttningen av syntetiska (renderade) objekt, och att nätverken då lär sig interna representationer som är användbara för avkodning av latenta objektparametrar (t.ex. pose) som stöder objektigenkänning med färre utbildningsvyer. Vi visar också att dessa nätverk kan skala till komplexa naturliga bildströmmar (bilmonterade kameravideor), fånga viktiga aspekter av både egocentriska rörelser och rörelse av objekt i den visuella scenen, och generalisera över videodataset. Dessa resultat tyder på att förutsägelsen representerar en kraftfull ram för oövervakat lärande, vilket möjliggör implicit inlärning av objekt och scenstruktur.
PC används också för att förutsäga framtida ramar i en videosekvens REF, med varje skikt av nätverket gör lokala förutsägelser och endast vidarebefordra avvikelser från dessa förutsägelser till efterföljande lager.
Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics', 'Biology']}