Stora CNN har levererat imponerande prestanda i olika datorseende applikationer. Men lagrings- och beräkningskraven gör det problematiskt att distribuera dessa modeller på mobila enheter. På senare tid har tensor sönderdelningar använts för att påskynda CNN. I detta dokument utvecklar vi ytterligare tensor sönderdelningstekniken. Vi föreslår en ny algoritm för att beräkna den lågrankade tensorns nedbrytning för att ta bort redundansen i konvolutionskärnorna. Algoritmen finner den exakta globala optimeringen av nedbrytningen och är mer effektiv än iterativa metoder. Baserat på nedbrytningen föreslår vi ytterligare en ny metod för att träna lågvärdiga CNN från grunden. Det är intressant att lägga märke till att även om man uppnår en betydande upptrappning, ger de lågrankade CNN:erna ibland betydligt bättre prestanda än sina icke-konstruerade motsvarigheter. På CIFAR-10-datasetet uppnår den föreslagna NIN-modellen med låg rang 91,31 % noggrannhet (utan dataförstärkning), vilket också förbättras med det senaste resultatet. Vi utvärderade den föreslagna metoden på CIFAR-10 och ILSVRC12 dataset för en mängd moderna CNNs, inklusive AlexNet, NIN, VGG och GoogleNet med framgång. T.ex. minskas terminstiden för VGG-16 med hälften medan prestandan fortfarande är jämförbar. Empirisk framgång tyder på att låg rank tensor nedbrytningar kan vara ett mycket användbart verktyg för att påskynda stora CNNs.
I Ref-författarna föreslog man en ny metod för utbildning av lågvärdiga CNN som bygger på nedbrytningen.
Convolutional neural networks with low-rank regularization
{'venue': 'ICLR 2016', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}