Detta papper presenterar inkrementell nätquantization (INQ), en ny metod, som syftar till att effektivt konvertera alla pre-tränade fullprecision konvolutional neurala nätverk (CNN) modell till en låg precision version vars vikter begränsas till att vara antingen krafter av två eller noll. Till skillnad från befintliga metoder som kämpar med märkbar noggrannhet förlust, vår INQ har potential att lösa denna fråga, som drar nytta av två innovationer. Å ena sidan inför vi tre inbördes beroende operationer, nämligen viktfördelning, gruppvis kvantisering och omskolning. Ett välbeprövat mått används för att dela upp vikterna i varje skikt i en förtränad CNN-modell i två separata grupper. Vikterna i den första gruppen är ansvariga för att bilda en låg precision bas, vilket de kvantifieras med en variabel-längd kodning metod. Vikterna i den andra gruppen är ansvariga för att kompensera för noggrannhetsförlusten från kvantiseringen, så de är de som ska omskolas. Å andra sidan, dessa tre operationer upprepas på den senaste omtränade gruppen på ett iterativt sätt tills alla vikter omvandlas till låg precision en, fungerar som en inkrementell nät kvantisering och noggrannhet förbättring förfarande. Omfattande experiment på ImageNet klassificering uppgift med hjälp av nästan alla kända djupa CNN arkitekturer inklusive AlexNet, VGG-16, GoogleNet och ResNets väl vittnar om effektiviteten av den föreslagna metoden. Specifikt, vid 5-bitars kvantisering (en variabel-längd kodning: 1 bit för att representera noll värde, och de återstående 4 bitar representerar högst 16 olika värden för befogenheter av två) 1, våra modeller har förbättrad noggrannhet än 32-bitars flytta-punktsreferenser. Med ResNet-18 som exempel visar vi vidare att våra kvantiserade modeller med 4-bitars, 3-bitars och 2-bitars ternära vikter har förbättrat eller mycket liknande noggrannhet mot sin 32-bitars flyttals baslinje. Dessutom rapporteras imponerande resultat med kombinationen av nätbeskärning och INQ. Vi tror att vår metod kastar nya insikter om hur man gör djupa CNN som ska tillämpas på mobila eller inbyggda enheter. Koden finns på https://github.com/Zhouaojun/IncrementalNetwork-Quantization.
Zhou m.fl. I REF föreslås tre inbördes beroende operationer, nämligen viktfördelning, gruppvis kvantisering och omskolning, för att uppnå en kvantisering av vikter utan förluster.
Incremental Network Quantization: Towards Lossless CNNs with Low-Precision Weights
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}