Abstract-Model storlek och sluthastighet / effekt har blivit en stor utmaning i utbyggnaden av Neural Networks för många applikationer. En lovande strategi för att ta itu med dessa problem är kvantifiering. En enhetlig kvantifiering av en modell till ultralåg precision leder dock till betydande noggrannhetsnedbrytning. En ny lösning för detta är att använda mixed-precision kvantization, eftersom vissa delar av nätverket kan ge lägre precision jämfört med andra lager. Det finns dock inget systematiskt sätt att bestämma precisionen hos olika lager. En brute force-strategi är inte möjlig för djupa nätverk, eftersom sökytan för blandad precision är exponentiell i antalet lager. En annan utmaning är en liknande faktoriell komplexitet för att bestämma blockvis finjusterande ordning när man kvantifierar modellen till en målprecision. Här introducerar vi Hessian AWare Quantization (HAWQ), en ny andra ordningens kvantiseringsmetod för att ta itu med dessa problem. HAWQ möjliggör automatiskt val av relativ kvantiseringsprecision för varje lager, baserat på lagrets hessiska spektrum. Dessutom ger HAWQ en deterministisk finjusteringsordning för kvantisering av lager, baserad på andra ordningens information. Vi visar resultaten av vår metod på Cifar-10 med hjälp av ResNet20, och på ImageNet med Inception-V3, ResNet50 och SqueezeNext modeller. Jämföra HAWQ med state-of-the-art visar att vi kan uppnå liknande / bättre noggrannhet med 8× aktiverings kompressionskvot på ResNet20, jämfört med DNAS [36], och upp till 1% högre noggrannhet med upp till 14% mindre modeller på ResNet50 och Inception-V3, jämfört med nyligen föreslagna metoder för RVQuant [26] och HAQ [35]. Dessutom visar vi att vi kan kvantifiera SqueezeNästa till bara 1MB modellstorlek samtidigt uppnå över 68% topp1 noggrannhet på ImageNet.
Dong m.fl. REF presenterade en ny andra ordningens kvantiseringsmetod för att välja bitbredd för varje lager samt finjusterande ordning av lager, baserad på lagrets hessiska spektrum.
HAWQ: Hessian AWare Quantization of Neural Networks with Mixed-Precision
{'venue': 'ICCV 2019 paper', 'journal': None, 'mag_field_of_study': ['Computer Science']}