Även om djupa Convolutional Neural Network (CNN) har visat bättre prestanda i olika maskininlärning uppgifter, dess tillämpning åtföljs av en betydande ökning av lagring och beräkning. Bland CNN förenklingstekniker är parameterbeskärning en lovande metod som syftar till att minska antalet vikter i olika skikt utan att intensivt minska den ursprungliga noggrannheten. I detta dokument föreslår vi en ny progressiv parameterbeskärningsmetod, kallad Structured Probabilistic Pruning (SPP), som effektivt beskärer vikter av konvolutionella skikt på ett probabilistiskt sätt. Till skillnad från befintliga deterministiska beskärningsmetoder, där de beskurna vikterna i en vältränad modell permanent elimineras, använder SPP vikten av vikter under träning iterationer, vilket gör beskärningen mer exakt genom att utnyttja den ackumulerade vikten. I synnerhet inför vi en effektiv mekanism för viktkonkurrens för att betona de viktiga vikterna och gradvis undergräva de oviktiga. Experiment visar att vår föreslagna metod har uppnått överlägsen prestanda på ConvNet och AlexNet jämfört med befintliga beskärningsmetoder. Vår beskurna AlexNet uppnår 4,0.9x (i genomsnitt 5,8x) lagervis upphastighet i konvolutionella lager med endast 1,3 % topp-5 fel ökning på ImageNet-2012 valideringsdataset. Vi visar också effektiviteten i vår metod för överföring lärande scenarier med hjälp av AlexNet.
Strukturerad probabilistisk beskärning (SPP) REF introducerar en beskärning sannolikhet för varje vikt där beskärning styrs av provtagning från beskärning sannolikheter.
Structured Probabilistic Pruning for Deep Convolutional Neural Network Acceleration
{'venue': 'Proceedings of the British Machine Vision Conference (BMVC), 2018', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}