Kvantisering kan förbättra utförandet latent och energieffektivitet av neurala nätverk på både råvaror GPUs och specialiserade acceleratorer. Merparten av den befintliga litteraturen fokuserar på utbildning av quantized DNN, medan detta arbete undersöker det mindre studerade ämnet att kvantifiera en flyttal modell utan (om)utbildning. DNN-vikter och aktiveringar följer en klockformad distribution efter träning, medan praktisk hårdvara använder ett linjärt kvantiserings rutnät. Detta leder till utmaningar när det gäller att hantera outliers i distributionen. Tidigare arbete har tagit itu med detta genom att klippa utlirar eller använda specialiserad hårdvara. I detta arbete föreslår vi extra kanaldelning (OCS), som duplicerar kanaler som innehåller outliers, sedan halverar kanalvärden. Nätverket förblir funktionellt identiskt, men påverkade avvikelser flyttas mot mitten av distributionen. OCS kräver ingen ytterligare utbildning och arbete på råvaruhårdvara. Experimentell utvärdering av ImageNets klassificering och språkmodellering visar att OCS kan överträffa toppmoderna klipptekniker med endast mindre overhead.
Dessutom föreslår REF en metod för uppdelning av yttre kanaler (OCS) för att lösa problemet med yttre kanaler.
Improving Neural Network Quantization without Retraining using Outlier Channel Splitting
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}