Kvantifierade neurala nätverk (QNN) används ofta för att förbättra näteffektiviteten under inferensfasen, d.v.s. efter att nätverket har utbildats. Omfattande forskning inom området tyder på många olika kvantiseringssystem. Ändå är antalet bitar som krävs, liksom det bästa kvantifieringsschemat, ännu okänt. Vår teoretiska analys tyder på att det mesta av träningsprocessen är robust till betydande precisionsreduktion, och pekar på endast ett fåtal specifika operationer som kräver högre precision. Beväpnad med denna kunskap, kvantifierar vi modellparametrarna, aktiveringar och lagergradienter till 8-bitars, vilket ger en högre precision endast det sista steget i beräkningen av viktgradienterna. Dessutom, som QNNs kräver batch-normalisering för att utbildas med hög precision, introducerar vi Range BatchNormalization (BN) som har betydligt högre tolerans mot kvantisering buller och förbättrad beräknings komplexitet. Våra simuleringar visar att Range BN motsvarar den traditionella satsnormen om en exakt skaljustering, som kan approximeras analytiskt, tillämpas. Till det bästa av författarnas kunskap är detta verk det första att kvantifiera vikter, aktiveringar, samt en betydande volym av gradienterna ström, i alla lager (inklusive batch normalisering) till 8-bitars medan visar state-of-the-art resultat över ImageNet-1K dataset.
REF utförd för att kvantifiera vikter, aktiveringar och alla lutningsberäkningar, med undantag för viktuppdateringar, till 8-bitars.
Scalable Methods for 8-bit Training of Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}