Interpoleringsalgoritmer för videoramar beräknar normalt optiskt flöde eller dess variationer och använder det sedan för att styra syntesen av en mellanliggande ram mellan två på varandra följande originalramar. För att hantera utmaningar som ocklusion, dubbelriktat flöde mellan de två inmatningsramar uppskattas ofta och används för att varpa och blanda inmatningsramar. Men hur man effektivt kan blanda de två förvrängda ramarna är fortfarande ett svårt problem. Detta dokument presenterar en kontext-medveten syntes metod som warps inte bara inmatningsramar men också deras pixel-wise kontextuell information och använder dem för att interpolera en högkvalitativ mellanram. Speciellt använder vi först ett förtränat neuralt nätverk för att extrahera per-pixel kontextuell information för inmatningsramar. Vi använder sedan en toppmodern optisk flödesalgoritm för att uppskatta dubbelriktat flöde mellan dem och förvarna både inmatningsramar och deras sammanhangskartor. Slutligen, till skillnad från vanliga metoder som blandar de förvarnade ramar, vår metod matar dem och deras sammanhangskartor till en videoram syntes neurala nätverk för att producera den interpolerade ramen i ett sammanhang-medvetet mode. Vårt neurala nätverk är fullt konvolutionellt och är tränat ända till slut. Våra experiment visar att vår metod kan hantera utmanande scenarier som ocklusion och stor rörelse och överträffar representativa state-of-the-art metoder.
Niklaus och Liu Ref föreslår också en kontextmedveten ramsyntes.
Context-Aware Synthesis for Video Frame Interpolation
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}