Nyligen, flera modeller baserade på djupa neurala nätverk har uppnått stor framgång både i fråga om återuppbyggnad noggrannhet och beräkningsprestanda för en enda bild super-upplösning. I dessa metoder uppgraderas indatabilden med låg upplösning (LR) till högupplösningsutrymmet (HR) med ett enda filter, vanligen bikubisk interpolering, före rekonstruktion. Detta innebär att superupplösningsoperationen (SR) utförs i HR-utrymme. Vi visar att detta är suboptimalt och tillför beräkningskomplexitet. I detta papper presenterar vi det första konvolutionella neurala nätverket (CNN) som kan i realtid SR av 1080p videor på en enda K2 GPU. För att uppnå detta föreslår vi en ny CNN-arkitektur där funktionskartorna extraheras i LR-utrymmet. Dessutom introducerar vi ett effektivt sub-pixel-konvolutionsskikt som lär sig en rad uppskalningsfilter för att skala upp de slutliga LR-funktionskartorna till HR-utgången. Genom att göra det ersätter vi effektivt det handgjorda bikubiska filtret i SR-ledningen med mer komplexa uppskalningsfilter som är särskilt utbildade för varje funktionskarta, samtidigt som den totala SR-driftens beräkningskomplex minskar. Vi utvärderar det föreslagna tillvägagångssättet med hjälp av bilder och videor från allmänt tillgängliga dataset och visar att det presterar betydligt bättre (+0.15dB på bilder och +0.39dB på videor) och är en storleksordning snabbare än tidigare CNN-baserade metoder.
Shi och Al. REF presenterade ett effektivt lager för subpixelkonvolution (ESPCN) till exklusiva LR-funktionskartor i HR-utdata.
Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}