Video restaurering uppgifter, inklusive super-upplösning, deblurring, etc, drar till sig ökad uppmärksamhet i datorseende gemenskapen. Ett utmanande riktmärke som heter REDS släpps i NTIRE19 Challenge. Detta nya riktmärke utmanar befintliga metoder från två aspekter: 1) hur man anpassar flera ramar med tanke på stora rörelser, och 2) hur man effektivt smälter samman olika ramar med olika rörelse och oskärpa. I detta arbete föreslår vi ett nytt ramverk för videorenovering med förbättrade deformerbara konvolutioner, som kallas EDVR, för att ta itu med dessa utmaningar. Först, för att hantera stora rörelser, vi utforma en Pyramid, Cascading och Deformable (PCD) anpassning modul, där ram anpassning görs på funktionsnivå med hjälp av deformerbara konvolutioner på ett grovt till fint sätt. För det andra föreslår vi en fusionsmodul för temporal och rumslig uppmärksamhet (TSA), där uppmärksamhet appliceras både temporalt och rumsligt, för att betona viktiga egenskaper för efterföljande restaurering. Tack vare dessa moduler vinner vår EDVR mästarna och överträffar andra plats med en stor marginal i alla fyra spåren i NTIRE19 video restaurering och förbättring utmaningar. EDVR visar också överlägsen prestanda till toppmoderna publicerade metoder på video super-upplösning och deblurring. Koden finns på https://github.com/xintao/EDVR.
I REF, Wang et al., utveckla pyramid, kaskad och deformerbar konvolution för att uppnå bättre anpassning prestanda.
EDVR: Video Restoration with Enhanced Deformable Convolutional Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}