FlowNet visade att optisk flödesuppskattning kan användas som ett inlärningsproblem. Den senaste tekniken när det gäller flödets kvalitet har dock fortfarande definierats med traditionella metoder. Särskilt på små förskjutningar och verkliga data, FlowNet kan inte konkurrera med variationsmetoder. I det här dokumentet går vi vidare med idén om end-to-end-inlärning av optiskt flöde och får det att fungera riktigt bra. De stora kvalitets- och hastighetsförbättringarna beror på tre viktiga bidrag: för det första fokuserar vi på träningsdata och visar att schemat för presentation av data under utbildningen är mycket viktigt. För det andra utvecklar vi en staplad arkitektur som inkluderar warpning av den andra bilden med mellanliggande optiskt flöde. För det tredje utvecklar vi små förskjutningar genom att införa ett undernätverk som är specialiserat på små rörelser. FlowNet 2.0 är bara marginellt långsammare än det ursprungliga FlowNet men minskar skattningsfelet med mer än 50%. Den fungerar på samma sätt som toppmoderna metoder, medan den körs med interaktiva bildhastigheter. Dessutom presenterar vi snabbare varianter som tillåter optisk flödesberäkning på upp till 140fps med noggrannhet som matchar originalet FlowNet.
FlowNet REF använde först fullt konvolutionsnät med end-to-end utbildning om optiskt flöde.
FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}