Vi föreslår en enkel tvåstegsmetod för att påskynda konvolutionslager inom stora konvolutionella neurala nätverk baserat på tensor sönderdelning och diskriminativ finjustering. Med tanke på ett lager, använder vi icke-linjära minst kvadrater för att beräkna en låg-rank CP-dekomposition av 4D-konvolution kärna tensor till en summa av ett litet antal rank-en tensorer. I det andra steget används denna nedbrytning för att ersätta det ursprungliga konvolutionslagret med en sekvens av fyra konvolutionslager med små kärnor. Efter en sådan ersättning är hela nätverket finjusterat på träningsdata med hjälp av standard backpropagation process. Vi utvärderar detta tillvägagångssätt på två CNNs och visar att det ger större CPU hastigheter på bekostnad av lägre noggrannhet sjunker jämfört med tidigare metoder. För 36-klass teckenklassificering CNN, vår strategi får en 8,5x CPU hastighetsökning av hela nätverket med endast mindre noggrannhet nedgång (1% från 91% till 90%). För den vanliga ImageNet arkitekturen (AlexNet), påskyndar inflygningen upp det andra konvolutionsskiktet med en faktor på 4x till priset av 1% ökning av den totala top-5 klassificeringsfel.
I REF föreslås CP- sönderdelning av kärntensorerna.
Speeding-up Convolutional Neural Networks Using Fine-tuned CP-Decomposition
{'venue': 'ICLR 2015', 'journal': 'arXiv: Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}