Abstrakt. Viktbeskärningsmetoder för djupa neurala nätverk (DNNs) har undersökts nyligen, men tidigare arbete inom detta område är främst heuristisk, iterativ beskärning, vilket saknar garantier på viktreduktion förhållandet och konvergenstid. För att mildra dessa begränsningar presenterar vi en systematisk ram för viktbeskärning av DNN med hjälp av multiplikatormetoden (ADMM). Vi formulerar först viktbeskärningsproblem av DNN som ett icke konvext optimeringsproblem med kombinatoriska begränsningar som specificerar sparsamhetskraven, och sedan anta ADMM ram för systematisk viktbeskärning. Genom att använda ADMM bryts det ursprungliga icke konvexa optimeringsproblemet ned i två subproblem som löses iterativt. Ett av dessa subproblem kan lösas med hjälp av stokastisk lutning nedstigning, det andra kan lösas analytiskt. Dessutom uppnår vår metod en snabb konvergensgrad. Viktbeskärningsresultaten är mycket lovande och överträffar konsekvent det tidigare arbetet. På LeNet-5 modellen för MNIST data set, uppnår vi 71.2× viktminskning utan noggrannhet förlust. På AlexNet modellen för ImageNet data set, uppnår vi 21× viktminskning utan noggrannhet förlust. När vi fokuserar på konvolutionsskiktet beskärning för beräkning minskningar, kan vi minska den totala beräkningen med fem gånger jämfört med tidigare arbete (uppnå totalt 13,4× viktminskning i konvolutionslager). Våra modeller och koder släpps på https://github.com/KaiqiZhang/admm-beskärning.
Målet med viktbeskärning kan också omvandlas som en icke-konvex optimering problem som är matematiskt lösbar med hjälp av den alternerande riktning metod multiplikatorer (ADMM) REF.
A Systematic DNN Weight Pruning Framework using Alternating Direction Method of Multipliers
{'venue': 'ECCV 2018, pp 191-207', 'journal': None, 'mag_field_of_study': ['Computer Science']}