Utbildning av storskaliga djupa neurala nätverk begränsas ofta av tillgängliga beräkningsresurser. Vi studerar effekten av begränsad precision data representation och beräkning på neurala nätverk utbildning. Inom ramen för låga precisionsberäkningar, observerar vi avrundningsschemat för att spela en avgörande roll för att bestämma nätverkets beteende under utbildningen. Våra resultat visar att djupa nätverk kan tränas med endast 16-bitars bred fast punkt nummer representation när du använder stokastisk avrundning, och medför lite till ingen försämring i klassificeringen noggrannhet. Vi demonstrerar också en energieffektiv hårdvaruaccelerator som implementerar låg precision fast punkt aritmetik med stokastisk avrundning.
Detta beslut träder i kraft dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. REF framgångsrikt utbildade neurala nätverk på MNIST och CIFAR-10 datauppsättningar med 16-bitars numerisk precision för en energieffektiv hårdvaruaccelerator.
Deep Learning with Limited Numerical Precision
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}