Videoram interpolering innebär normalt två steg: rörelseuppskattning och pixelsyntes. En sådan tvåstegsstrategi beror i hög grad på kvaliteten på rörelseuppskattningen. Detta papper presenterar en robust videoram interpolation metod som kombinerar dessa två steg i en enda process. Speciellt anser vår metod pixelsyntes för den interpolerade ramen som lokal konvolution över två inmatningsramar. Konvolutionskärnan fångar både den lokala rörelsen mellan inmatningsramarna och koefficienterna för pixelsyntes. Vår metod använder ett djupt fullständigt konvolutionellt neuralt nätverk för att uppskatta en rumsligt adaptiv konvolution kärna för varje pixel. Detta djupa neurala nätverk kan direkt tränas slut med hjälp av allmänt tillgängliga videodata utan några svåra att hitta mark-sanning data som optiskt flöde. Våra experiment visar att formuleringen av videointerpolering som en enda konvolutionsprocess gör att vår metod att graciöst hantera utmaningar som ocklusion, oskärpa och abrupt ljusstyrka förändras och möjliggör högkvalitativ videoram interpolering.
Niklaus m.fl. REF utbildar ett nätverk för att mata ut lokala 38x38 konvolutionskärnor för varje pixel som ska appliceras på indataavbildningarna.
Video Frame Interpolation via Adaptive Convolution
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}