Kvantiserade djupa neurala nätverk (QDNN) är attraktiva på grund av deras mycket lägre minneslagring och snabbare inference hastighet än deras regelbundna full precision motsvarigheter. För att upprätthålla samma prestandanivå, särskilt vid låg bitbredd, måste QDNN omskolas. Deras träning innebär bitvis konstant aktiveringsfunktioner och diskreta vikter, varför matematiska utmaningar uppstår. Vi introducerar begreppet grov lutning och föreslår den blandade grov lutning nedstigning (BCGD) algoritm, för utbildning fullt kvantiserade neurala nätverk. Grov lutning är i allmänhet inte en lutning av någon funktion utan en konstgjord uppstigning riktning. Viktuppdateringen av BCGD sker genom grov gradientkorrigering av ett vägt medelvärde av de fulla precisionsvikterna och deras kvantisering (den så kallade blandningen), vilket ger tillräcklig nedstigning i det objektiva värdet och därmed påskyndar träningen. Våra experiment visar att denna enkla blandningsteknik är mycket effektiv för kvantisering vid extremt låg bit-bredd såsom binarization. I full kvantisering av ResNet-18 för ImageNet klassificering uppgift, BCGD ger 64,36% topp-1 noggrannhet med binära vikter över alla lager och 4-bitars adaptiv aktivering. Om vikterna i de första och sista skikten hålls i full precision, ökar detta antal till 65,46 %. Som teoretisk motivering visar vi konvergensanalys av grov lutning nedstigning för en tvålagers neural nätverksmodell med Gaussian ingångsdata, och visar att den förväntade grova lutningen korrelerar positivt med den underliggande sanna lutningen. Nyckelord vikt/aktivering kvantisering · blandad grov lutning nedstigning · tillräcklig nedstigning egenskap · djupa neurala nätverk Matematik Ämnesklassificering (2010) 90C35, 90C26, 90C52, 90C90.
Även en blandad grov lutning nedstigning metod REF introduceras för att träna helt kvantifierade DNNs i vikter och aktiveringsfunktioner, och övervinna försvinnande gradienter.
Blended Coarse Gradient Descent for Full Quantization of Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}