Video super-upplösning (VSR) syftar till att återställa en fotorealistisk högupplöst (HR) videoram från både dess motsvarande låg-upplösning (LR) ram (referensram) och flera angränsande ramar (stödramar). På grund av varierande rörelse av kameror eller objekt, referensramen och varje stödram är inte i linje. Därför är tidsanpassning ett utmanande men ändå viktigt problem för VSR. Tidigare VSR-metoder använder vanligtvis optiskt flöde mellan referensramen och varje stödram för att svepa in stödramen för tidsjustering. Därför kommer prestandan hos dessa omslagsbaserade modeller på bildnivå i hög grad att bero på exaktheten i optiskt flöde, och felaktigt optiskt flöde kommer att leda till artefakter i de inlindade stödramarna, som också kommer att spridas in i den rekonstruerade HR-videoramen. För att övervinna begränsningen föreslår vi i detta dokument ett tidsbegränsat deformerbart anpassningsnät (TDAN) för att anpassa referensramen och varje stödram till funktionsnivån utan att beräkna optiskt flöde. TDAN använder funktioner från både referensramen och varje stödram för att dynamiskt förutsäga förskjutningar av samplingskärnor. Genom att använda motsvarande kärnor omvandlar TDAN stödramar för att anpassa dem till referensramen. För att förutsäga HR-videoramen används ett återuppbyggnadsnätverk med anpassade ramar och referensramen. Experimentella resultat visar effektiviteten hos den föreslagna TDAN-baserade VSR-modellen.
I synnerhet använder TDAN REF deformerbara konvolutioner för att anpassa inmatningsramarna till funktionsnivån utan uttrycklig rörelseuppskattning eller bildförvrängning.
TDAN: Temporally Deformable Alignment Network for Video Super-Resolution
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}