Abstract-This paper tar itu med problemet med att träna ett djupt konvolutionellt neuralt nätverk av både låg-bitbredd vikter och aktiveringar. Optimera en låg precision nätverk är mycket utmanande på grund av icke-differentiability av kvantizern, vilket kan resultera i betydande noggrannhet förlust. För att ta itu med detta föreslår vi tre praktiska tillvägagångssätt, bland annat (i) progressiv kvantifiering, (ii) stokastisk precision och (iii) gemensam kunskapsdestillering för att förbättra nätverksutbildningen. För det första föreslår vi för den progressiva kvantifieringen två system för att gradvis finna bra lokala minima. Specifikt föreslår vi att först optimera ett nät med kvantiserade vikter och därefter kvantifiera aktiveringar. Detta står i kontrast till de traditionella metoder som optimerar dem samtidigt. Dessutom föreslår vi ett andra progressivt kvantiseringsprogram som gradvis minskar bitbredden från hög precision till låg precision under träningen. För det andra, för att minska den överdrivna utbildningsbördan på grund av de multi-round utbildningsstadierna, föreslår vi ytterligare en stokastisk precisionsstrategi för att slumpmässigt provta och kvantifiera undernätverk samtidigt som andra delar hålls i full precision. Slutligen antar vi ett nytt inlärningsprogram för att gemensamt utbilda en fullprecisionsmodell vid sidan av den lågprecisionsmodellen. Genom att göra det ger fullprecisionsmodellen tips för att styra lågprecisionsmodellens utbildning och avsevärt förbättra prestandan hos lågprecisionsnätverket. Omfattande experiment på olika dataset (t.ex., CIFAR-100, ImageNet) visar effektiviteten av de föreslagna metoderna.
I Ref föreslogs tre effektiva metoder för att förbättra den kvantitativa nätutbildningens prestanda.
Effective Training of Convolutional Neural Networks with Low-bitwidth Weights and Activations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}