CNN-baserad optisk flödesuppskattning har uppmärksammats på senare tid, främst på grund av dess imponerande höga bildhastigheter. Dessa nätverk fungerar bra på syntetiska dataset, men de ligger fortfarande långt efter de klassiska metoderna i realworld-videor. Detta beror på att det inte finns något optiskt flöde för att utbilda dessa nätverk på verkliga data. I den här artikeln ökar vi CNN-baserad optisk flödesuppskattning i verkliga scener med hjälp av den fritt tillgängliga självövervakade uppgiften för nästa ram förutsägelse. I detta syfte utbildar vi nätverket på ett hybrid sätt, vilket ger det en blandning av syntetiska och riktiga videor. Med hjälp av en sample-variant multi-tasking arkitektur, tränas nätverket på olika uppgifter beroende på tillgängligheten av mark-truth. Vi experimenterar också med förutsägelsen om "nästa flöde" istället för uppskattning av det nuvarande flödet, som intuitivt är närmare uppgiften att nästa ram förutsägelse och ger positiva resultat. Vi demonstrerar förbättringen av den optiska flödesuppskattningen på det verkliga KITTI-riktmärket. Dessutom testar vi indirekt det optiska flödet i ett åtgärdsklassificeringsscenario. Som en sidoprodukt av detta arbete rapporterar vi betydande förbättringar jämfört med den senaste tekniken i uppgiften att förutsäga nästa ram.
Sedaghat m.fl. REF föreslog den självövervakade extra uppgiften för nästa ramförutsägelse som ytterligare förlust.
Hybrid Learning of Optical Flow and Next Frame Prediction to Boost Optical Flow in the Wild
{'venue': None, 'journal': 'arXiv: Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}