, representativ för toppmoderna inlärningsbaserade superupplösningsmetoder, som arbetar med bearbetade 8-bitars RGB-ingång, och (C) vår modell utbildad på syntetiska sensordata. I (A) är digital zoom via bicubic uppsampling den naiva baslinje och optisk zoom fungerar som referens mark sanning. Vår produktion är artefaktfri och bevarar detaljer även för utmanande regioner som högfrekvent grillarbete. Detta papper visar att när man tillämpar maskininlärning till digital zoom, är det fördelaktigt att fungera på verkliga, RAW sensor data. Befintliga inlärningsbaserade superupplösningsmetoder använder inte riktiga sensordata, utan arbetar istället med bearbetade RGB-bilder. Vi visar att dessa metoder förverka detaljer och noggrannhet som kan uppnås genom att driva på rådata, särskilt när zooma in på avlägsna objekt. Nyckelbarriären för att använda verkliga sensordata för träning är att mark-truth högupplösta bilder saknas. Vi visar hur man får sådan mark-sanning data via optisk zoom och bidrar med en datauppsättning, SR-RAW, för verkliga beräkningszoom. Vi använder SR-RAW för att träna ett djupt nätverk med en ny kontextuell bilateral förlust som är robust till mild obalans mellan inmatning och utgångar bilder. Det utbildade nätverket uppnår toppmodern prestanda i 4X och 8X beräkningszoom. Vi visar också att syntetisering av sensordata genom omsampling av högupplösta RGB-bilder är en överförenklad approximation av verkliga sensordata och buller, vilket resulterar i sämre bildkvalitet.
Zhang m.fl. REF erhöll verkliga sensordata genom optisk zoom för modellträning.
Zoom to Learn, Learn to Zoom
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science', 'Engineering']}