Vi föreslår en ny metod för att skapa beräkningseffektiva konvolutionella neurala nätverk (CNN) genom att använda lågvärdiga representationer av konvolutionsfilter. I stället för att approximera filter i tidigare utbildade nätverk med effektivare versioner lär vi oss en uppsättning små grundfilter från grunden; under utbildningen lär sig nätverket att kombinera dessa grundfilter till mer komplexa filter som är diskriminerande för bildklassificering. För att utbilda sådana nätverk används ett nytt viktinitieringssystem. Detta möjliggör effektiv initialisering av anslutningsvikter i konvolutionslager som består av grupper av olika formade filter. Vi validerar vår strategi genom att tillämpa den på flera befintliga CNN-arkitekturer och utbilda dessa nätverk från grunden med hjälp av CIFAR, ILSVRC och MIT Places datauppsättningar. Våra resultat visar liknande eller högre noggrannhet än konventionella CNNs med mycket mindre beräkning. Genom att tillämpa vår metod på en förbättrad version av VGG-11-nätverket med hjälp av global maxpoolning uppnår vi jämförbar valideringsnoggrannhet med 41% mindre beräkning och endast 24% av de ursprungliga VGG-11 modellparametrarna; en annan variant av vår metod ger en 1 procentenhets ökning av noggrannheten jämfört med vår förbättrade VGG-11-modell, vilket ger en topp-5 center-Crop valideringsnoggrannhet på 89,7% samtidigt som beräkningen minskas med 16% jämfört med den ursprungliga VGG-11-modellen. Genom att tillämpa vår metod på GoogLeNet-arkitekturen för ILSVRC uppnådde vi jämförbar noggrannhet med 26% mindre beräkning och 41% färre modellparametrar. Genom att tillämpa vår metod på ett nästan toppmodernt nätverk för CIFAR uppnådde vi jämförbar noggrannhet med 46 % mindre beräkning och 55 % färre parametrar.
Med ett noggrant utformat initieringssystem kunde REF träna en blandning av lågvärdiga filter från grunden med konkurrenskraftiga prestanda.
Training CNNs with Low-Rank Filters for Efficient Image Classification
{'venue': 'International Conference on Learning Representations (ICLR), San Juan, Puerto Rico, 2-4 May 2016', 'journal': None, 'mag_field_of_study': ['Computer Science']}