Modellkomprimering är en kritisk teknik för att effektivt distribuera neurala nätverksmodeller på mobila enheter som har begränsade beräkningsresurser och snäva effektbudgetar. Konventionella modellkompression tekniker förlitar sig på handgjorda heuristik och regelbaserade policyer som kräver domän experter för att utforska den stora design utrymme handel utanför bland modellstorlek, hastighet, och noggrannhet, som vanligtvis är suboptimal och tidskrävande. I detta dokument föreslår vi AutoML för modellkompression (AMC) som utnyttjar förstärkande lärande för att tillhandahålla modellen kompression politik. Denna inlärningsbaserade kompressionspolicy överträffar konventionell regelbaserad kompressionspolitik genom att ha högre kompressionsförhållande, bättre bevara noggrannheten och befria mänskligt arbete. Under 4× FLOPs minskning, uppnådde vi 2,7% bättre noggrannhet än handgjorda modellen komprimering politik för VGG-16 på ImageNet. Vi tillämpade denna automatiserade, push-the-knappen kompression pipeline till MobileNet och uppnådde 1,81× hastighet upp av uppmätt inference latency på en Android-telefon och 1,43× speedup på Titan XP GPU, med endast 0,1% förlust av ImageNet Top-1 noggrannhet. Reward= -Error*log(FLOP) Agent: DDPG Action: Komprimera med sparty ratio vid (t.ex. 50%) Embedding st=[N,C,H,W,i...] Miljö: Kanalbeskärning Layer t-1 Layer t Layer t+1 Critic Actor Embedding Original NN Modell Kompression av människa: Arbetskonsumption, Suboptimal Modell Kompression av AI: Automatiserad, Högre Kompressionshastighet, Snabbare komprimerad NN AMC Engine Original NN Compressed NN 30% 50%? %
Automatic Model Compression (AMC) REF utforskar beskärningsstrategin genom att automatiskt lära sig komprimeringsförhållandet för varje lager genom förstärkt inlärning (RL).
AMC: AutoML for Model Compression and Acceleration on Mobile Devices
{'venue': 'ECCV', 'journal': None, 'mag_field_of_study': ['Computer Science']}