I naturliga bilder förmedlas information vid olika frekvenser där högre frekvenser vanligen kodas med fina detaljer och lägre frekvenser vanligen kodas med globala strukturer. På samma sätt kan kartor över ett konvolutionslager också ses som en blandning av information med olika frekvenser. I detta arbete föreslår vi att faktorisera de blandade funktionskartorna efter deras frekvenser, och designa en ny Octave Convolution (OctConv) operation 1 för att lagra och bearbeta funktionskartor som varierar rumsligt "slower" vid en lägre rumslig upplösning som minskar både minne och beräkningskostnader. Till skillnad från befintliga multi-scale metoder, OctConv är formulerad som en enda, generisk, plug-andplay convolutional enhet som kan användas som en direkt ersättning av (vanilla) konvolutioner utan några justeringar i nätverksarkitekturen. Det är också ortogonalt och kompletterar metoder som tyder på bättre topologier eller minska kanalvis redundans som grupp eller djupvisa konvolutioner. Vi experimentellt visar att genom att helt enkelt ersätta convolutions med OctConv kan vi konsekvent öka noggrannheten för både bild- och videoigenkänningsuppgifter, samtidigt som vi minskar minnes- och beräkningskostnaderna. En OctConv-utrustad ResNet-152 kan uppnå 82,9% topp-1 klassificering noggrannhet på ImageNet med endast 22,2 GFLOPs.
Chen och Al. REF konstruerade en plug-and-play convolutional enhet som heter OctConv, som faktoriserar de blandade funktionskartorna med deras frekvenser.
Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks With Octave Convolution
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}