För datorseende applikationer, tidigare arbeten har visat effektiviteten av att minska numerisk precision av modellparametrar (nätverksvikter) i djupa neurala nätverk. Aktiveringskartor upptar dock ett stort minnesavtryck både under tränings- och inferenssteget när man använder minibatcher av ingångar. Ett sätt att minska detta stora minnesavtryck är att minska precisionen i aktiveringarna. Tidigare arbeten har dock visat att det skadar modellens noggrannhet att minska precisionen i aktiveringarna. Vi studerar system för att utbilda nätverk från grunden med hjälp av reducerade precision aktiveringar utan att skada noggrannhet. Vi minskar precisionen i aktiveringskartor (tillsammans med modellparametrar) och ökar antalet filterkartor i ett lager, och finner att detta system matchar eller överträffar noggrannheten i utgångsvärdets fullprecisionsnätverk. Som ett resultat av detta kan man avsevärt förbättra effektiviteten i genomförandet (t.ex. minska dynamiskt minnesavtryck, minnesbandbredd och beräkningsenergi) och påskynda utbildning och slutledningsprocessen med lämpligt hårdvarustöd. Vi kallar vårt system WRPN - omfattande reducerade precisionsnätverk. Vi rapporterar resultat och visar att WRPN-systemet är bättre än tidigare rapporterade noggrannheter på ILSVRC-12 dataset samtidigt som det är beräkningsmässigt billigare jämfört med tidigare rapporterade reducerade precisionsnätverk.
De föreslår också en ändrad BNN, där de antar strategin att öka antalet filter, för att kompensera för noggrannhetsförlust som liknar breda nät med reducerad precision.
WRPN: Wide Reduced-Precision Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}