På grund av den betydande informationsförlusten i bilder med låg upplösning (LR) har det blivit mycket svårt att ytterligare förbättra den senaste tekniken för superupplösning av en enda bild (SISR). Reference-based super-resolution (RefSR), å andra sidan, har visat sig lovande när det gäller att återvinna högupplösta (HR) detaljer när en referens (Ref) bild med liknande innehåll som LR indata ges. Kvaliteten på RefSR kan dock försämras kraftigt när Ref är mindre lik. Detta papper syftar till att frigöra potentialen i RefSR genom att utnyttja fler texturdetaljer från Ref-bilder med starkare robusthet även när irrelevanta Ref-bilder tillhandahålls. Inspirerad av det senaste arbetet med bildstyling formulerar vi RefSR-problemet som överföring av neural textur. Vi utformar en end-to-end djupmodell som berikar HR-detaljer genom att anpassa texturen från Ref-bilder efter deras textliknande likhet. Istället för att matcha innehåll i rå pixel utrymme som gjorts med tidigare metoder, är vårt viktigaste bidrag en multi-nivå matchning utförs i det neurala utrymmet. Detta matchningssystem underlättar flerskalig neural överföring som gör att modellen kan dra större nytta av dessa semantiskt relaterade Ref-plåster och graciöst försämrar SISR-prestandan på de minst relevanta Ref-ingångarna. Vi bygger ett referensdataset för den allmänna forskningen av RefSR, som innehåller Ref-bilder parade med LR-ingångar med varierande likhetsnivåer. Både kvantitativa och kvalitativa utvärderingar visar att vår metod är överlägsen toppmodern 1.
Zhang m.fl. REF utformade en end-to-end djup neural textur överföring SR-modell för att extrahera mer textur detaljer från Ref bilder, men datauppsättningar av undervattensscener är otillräckliga.
Image Super-Resolution by Neural Texture Transfer
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}