Neurala nätverk är beroende av konvolutioner för att aggregera rumslig information. Men rumsliga konvolutioner är dyra när det gäller modellstorlek och beräkning, som båda växer kvadratiskt med avseende på kärnstorlek. I detta dokument presenterar vi en parameterfri, FLOP-fri "shift"-operation som ett alternativ till rumsliga konvolutioner. Vi säkrar skift och punktvisa konvolutioner för att konstruera end-to-end training-baserade moduler, med en hyperparameter som karakteriserar avvägningen mellan noggrannhet och effektivitet. För att visa verksamhetens effektivitet ersätter vi ResNets 3x3-konvolutioner med skiftbaserade moduler för förbättrad CI-FAR10- och CIFAR100-noggrannhet med 60 % färre parametrar; vi demonstrerar dessutom verksamhetens motståndskraft mot parameterreduktion på ImageNet, outperforming ResNet familjemedlemmar. Vi visar slutligen skiftoperationens tillämplighet över domäner, vilket ger en stark prestanda med färre parametrar för bildklassificering, ansiktsverifiering och stilöverföring.
ShiftNet REF föreslår skiftoperationen som interleaded med punktvisa konvolutioner för att ersätta dyra rumsliga konvolutioner.
Shift: A Zero FLOP, Zero Parameter Alternative to Spatial Convolutions
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}