Nyligen har konvolutionella neurala nätverk (CNN) använts som ett kraftfullt verktyg för att lösa många problem med maskininlärning och datorseende. I detta dokument syftar vi till att ge insikt om egendomen hos konvolutionella neurala nätverk, samt en generisk metod för att förbättra prestandan hos många CNN-arkitekturer. Vi undersöker först befintliga CNN-modeller och observerar en spännande egenskap som filtren i de lägre skikten bildar par (dvs filter med motsatt fas). Inspirerad av vår observation föreslår vi en ny, enkel men effektiv aktiveringsplan som kallas concatenated ReLU (CRelu) och teoretiskt analysera dess återuppbyggnadsfastighet i CNNs. Vi integrerar CRelu i flera toppmoderna CNN-arkitekturer och demonstrerar förbättringar i deras igenkänningsprestanda på CIFAR-10/100 och ImageNet-datauppsättningar med färre utbildningsbara parametrar. Våra resultat tyder på att bättre förståelse av CNN:s egenskaper kan leda till betydande prestandaförbättringar med en enkel modifiering.
REF konstaterar att filter som lärts av ReLU CNN ofta innehåller par med motsatta faser i de lägre skikten.
Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}