Standard videoram interpolering metoder först uppskatta optiskt flöde mellan inmatningsramar och sedan syntetisera en mellanliggande ram styrd av rörelse. Nya tillvägagångssätt sammanfoga dessa två steg till en enda konvolutionsprocess genom att konvolvera input frames med rumsligt adaptiva kärnor som står för rörelse och omsampling samtidigt. Dessa metoder kräver stora kärnor för att hantera stora rörelser, vilket begränsar antalet pixlar vars kärnor kan uppskattas på en gång på grund av den stora minnesefterfrågan. För att ta itu med detta problem formulerar detta dokument raminterpolering som lokal separable convolution över inmatningsramar med hjälp av par av 1D-kärnor. Jämfört med vanliga 2D-kärnor kräver 1D-kärnorna betydligt färre parametrar att uppskatta. Vår metod utvecklar ett djupt fullständigt konvolutionellt neuralt nätverk som tar två inmatningsramar och uppskattar par av 1D-kärnor för alla pixlar samtidigt. Eftersom vår metod kan uppskatta kärnor och syntetiserar hela videoramen på en gång, gör det möjligt att införliva perceptuell förlust att träna neurala nätverket för att producera visuellt tilltalande ramar. Detta djupa neurala nätverk är utbildad end-to-end med hjälp av allmänt tillgängliga videodata utan någon mänsklig notering. Både kvalitativa och kvantitativa experiment visar att vår metod ger en praktisk lösning på högkvalitativ videoraminterpolering.
I REF förbättrar författarna effektiviteten genom att approximera en 2D-kärna med ett par 1D-kärnor.
Video Frame Interpolation via Adaptive Separable Convolution
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}