I detta dokument föreslår och studerar vi en teknik för att minska antalet parametrar och beräkningstiden i konvolutionella neurala nätverk. Vi använder Kronecker produkten för att utnyttja de lokala strukturerna inom konvolution och fullt anslutna lager, genom att ersätta de stora viktmatriser med kombinationer av flera Kronecker produkter av mindre matriser. Precis som Kronecker produkten är en generalisering av den yttre produkten från vektorer till matriser, vår metod är en generalisering av den låga rang approximationsmetoden för konvolution neurala nätverk. Vi introducerar även kombinationer av olika former av Kronecker-produkten för att öka modellkapaciteten. Experiment på SVHN, scen textigenkänning och ImageNet dataset visar att vi kan uppnå 3,3× speedup eller 3,6× parameter minskning med mindre än 1% minskning i noggrannhet, visar effektiviteten och effektiviteten av vår metod. Kroneckers beräkningseffektivitet gör det dessutom möjligt att använda större funktionskarta, vilket i sin tur gör det möjligt för oss att överträffa tidigare toppmoderna data på både SVHN (digital igenkänning) och CASIA-HWDB (handskriven kinesisk teckenigenkänning).
KFC REF använder Kronecker-produkten för att utnyttja de lokala strukturerna inom konvolution och fullt sammankopplade lager, genom att ersätta de stora viktmatriserna och med kombinationer av flera Kronecker-produkter av mindre matriser, som kan approximera viktmatriserna i det fullt anslutna lagret.
Exploiting Local Structures with the Kronecker Layer in Convolutional Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}