Djupinlärningsalgoritmer uppnår hög klassificeringsnoggrannhet på bekostnad av betydande beräkningskostnader. För att ta itu med denna kostnad har ett antal kvantifieringssystem föreslagits - men de flesta av dessa tekniker fokuserade på att kvantifiera vikter, som är relativt mindre i storlek jämfört med aktiveringar. I detta dokument föreslås ett nytt kvantiseringsprogram för aktiveringar under träning -som gör det möjligt för neurala nätverk att fungera bra med extremt låga precisionsvikter och aktiveringar utan någon betydande noggrannhetsnedbrytning. Denna teknik, PArameterized Cipping acTivation (PACT), använder en aktivering clipping parameter α som är optimerad under träning för att hitta rätt kvantisering skala. PACT gör det möjligt att kvantifiera aktiveringar till godtyckliga bitprecisioner, samtidigt som man uppnår mycket bättre noggrannhet i förhållande till publicerade toppmoderna kvantiseringsprogram. Vi visar för första gången att både vikter och aktiveringar kan kvantifieras till 4 bitars precision samtidigt som noggrannheten är jämförbar med full precision i ett antal populära modeller och datauppsättningar. Vi visar också att utnyttja dessa reducerade precision beräkningsenheter i hårdvara kan möjliggöra en super-lineär förbättring av inferencing prestanda på grund av en betydande minskning i området för accelerator compute motorer tillsammans med förmågan att behålla den kvantifierade modellen och aktiveringsdata i on-chip minnen.
Choi m.fl. REF föreslog en parameteriserad klippning aktivering för kvantisering för att stödja godtyckliga bitar kvantisering av aktivering.
PACT: Parameterized Clipping Activation for Quantized Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}