Vi föreslår en klusterbaserad kvantiseringsmetod för att omvandla förtränade full precisionsvikter till ternära vikter med minimal påverkan på noggrannheten. Dessutom begränsar vi också aktiveringarna till 8-bitars vilket möjliggör sub 8-bitars fullständig heltal inference pipeline. Vår metod använder mindre kluster av N-filter med en gemensam skalfaktor för att minimera kvantiseringsförlusten, samtidigt som antalet ternära operationer maximeras. Vi visar att med klusterstorlek på N=4 på Resnet-101, kan uppnå 71,8% TOP-1 noggrannhet, inom 6% av den bästa full precision resultat, samtidigt som man ersätter 85% av alla multiplikationer med 8-bitars partier. Med samma metod med 4-bitars vikter uppnår 76,3% TOP-1 noggrannhet som inom 2% av det fulla precisionsresultatet. Vi studerar också hur storleken på klustret påverkar både prestanda och noggrannhet, större klusterstorlekar N=64 kan ersätta 98% av multiplikationerna med ternära operationer men introducerar betydande nedgång i noggrannhet vilket kräver finjustering av parametrarna med omskolning av nätverket med lägre precision. För att ta itu med detta har vi också tränat lågprecision Resnet-50 med 8-bitars aktiveringar och ternära vikter genom att förinitiera nätverket med full precisionsvikt och uppnå 68,9% TOP-1 noggrannhet inom 4 ytterligare epoker. Vår slutliga kvantiserade modell kan köras på en full 8-bitars compute pipeline, med en potentiell 16x förbättring i prestanda jämfört med baseline full precision modeller.
REF föreslog klusterbaserad kvantiseringsmetod för att omvandla förtränade full precisionsvikter till ternära vikter med minimal noggrannhetsförlust.
Mixed Low-precision Deep Learning Inference using Dynamic Fixed Point
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}