Utbildning av storskaliga djupa neurala nätverk begränsas ofta av tillgängliga beräkningsresurser. Vi studerar effekten av begränsad precision data representation och beräkning på neurala nätverk utbildning. Inom ramen för låga precisionsberäkningar, observerar vi avrundningsschemat för att spela en avgörande roll för att bestämma nätverkets beteende under utbildningen. Våra resultat visar att djupa nätverk kan tränas med endast 16-bitars bred fast punkt nummer representation när du använder stokastisk avrundning, och medför lite till ingen försämring i klassificeringen noggrannhet. Vi demonstrerar också en energieffektiv hårdvaruaccelerator som implementerar låg precision fast punkt aritmetik med stokastisk avrundning.
Gupta m.fl. REF visade att djupa neurala nätverk kan tränas med minimal förlust i noggrannhet, med hjälp av 16-bitars fast punkt representation.
Deep Learning with Limited Numerical Precision
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}