Med tanke på två på varandra följande ramar syftar interpolering till att generera mellanliggande ramar för att bilda både rumsligt och tidsmässigt sammanhängande videosekvenser. Medan de flesta befintliga metoder fokuserar på en ram interpolation, föreslår vi en end-to-end convolutional neural nätverk för variabel-längd multi-frame video interpolation, där rörelsetolkning och ocklusion resonemang är gemensamt modellerade. Vi börjar med att beräkna det dubbelriktade optiska flödet mellan ingångsavbildningarna med hjälp av en U-Net-arkitektur. Dessa flöden kombineras sedan linjärt vid varje steg för att approximera de mellanliggande dubbelriktade optiska flödena. Dessa ungefärliga flöden fungerar dock bara bra i lokalt smidiga regioner och producerar artefakter kring rörelsegränser. För att ta itu med denna brist använder vi en annan UNet för att förfina det ungefärliga flödet och även förutsäga mjuka siktkartor. Slutligen är de två ingångsbilderna förvrängda och linjärt sammansmälta för att bilda varje mellanliggande ram. Genom att applicera siktkartorna på de förvrängda bilderna före fusion, utesluter vi bidraget från ockluded pixlar till den interpolerade mellanliggande ramen för att undvika artefakter. Eftersom ingen av våra lärda nätverksparametrar är tidsberoende, kan vår strategi producera så många mellanliggande ramar som behövs. Vi använder 1.132 videoklipp med 240-fps, som innehåller 300K individuella videoramar, för att träna vårt nätverk. Experimentella resultat på flera datauppsättningar, som förutsäger olika antal interpolerade ramar, visar att vårt arbetssätt fungerar konsekvent bättre än befintliga metoder.
SuperSlomo Ref är en nyligen föreslagen state-of-the-art metod för variabel-längd multi-frame interpolation metod.
Super SloMo: High Quality Estimation of Multiple Intermediate Frames for Video Interpolation
{'venue': 'CVPR 2018', 'journal': None, 'mag_field_of_study': ['Computer Science']}