De toppmoderna hårdvaruplattformarna för utbildning Deep Neural Networks (DNN) går från traditionella enkelprecisionsberäkningar (32-bitars) till 16 bitars precision - till stor del på grund av hög energieffektivitet och mindre lagring i samband med användning av reducerade precisions representationer. Till skillnad från slutsatsen har dock utbildning med antal representerade med mindre än 16 bitar varit utmanande på grund av behovet av att upprätthålla trohet i lutningsberäkningarna under back-förökning. Här demonstrerar vi för första gången den framgångsrika utbildningen av DNNs med 8-bitars flyttalstal samtidigt som noggrannheten bibehålls fullt ut på ett spektrum av Deep Learning-modeller och dataset. Förutom att minska data och beräkning precision till 8 bitar, vi också framgångsrikt minska den aritmetiska precisionen för tillägg (används i partiell produktackumulering och viktuppdateringar) från 32 bitar till 16 bitar genom införandet av ett antal nyckelidéer inklusive bit-baserad ackumulering och flyttal punkt stokastisk avrundning. Användningen av dessa nya tekniker lägger grunden för en ny generation av hårdvaruträningsplattformar med potential för 2 − 4× förbättrad genomströmning över dagens system.
Mer nyligen, Wang et al. REF har framgångsrikt utbildat Resnet-50[12] med 8-bitars flyttalsnumeriskt format med hjälp av en specialiserad hårdvara för att beräkna bit-baserad dot-produkt beräkning och stokastisk avrundning på en 16-bitars ackumulator.
Training Deep Neural Networks with 8-bit Floating Point Numbers
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}