Detta papper tar itu med problemet med att träna en djup konvolutionella neurala nätverk med både låg precision vikter och låg bitbredd aktiveringar. Att optimera ett lågprecisionsnätverk är mycket utmanande eftersom träningsprocessen lätt kan fastna i en dålig lokal minima, vilket resulterar i betydande noggrannhetsförlust. För att minska detta problem föreslår vi tre enkla och effektiva metoder för att förbättra nätverksutbildningen. Först föreslår vi att använda en tvåstegs optimeringsstrategi för att gradvis hitta bra lokala minima. Specifikt föreslår vi att först optimera ett nät med kvantiserade vikter och sedan kvantifierade aktiveringar. Detta står i kontrast till de traditionella metoder som optimerar dem samtidigt. För det andra, efter en liknande anda av den första metoden, föreslår vi en annan progressiv optimeringsmetod som gradvis minskar bitbredden från hög precision till låg precision under utbildningen. För det tredje antar vi ett nytt inlärningssystem för att gemensamt utbilda en modell med full precision vid sidan av den med låg precision. Genom att göra det ger full precision modell tips för att styra låg precision modell utbildning. Omfattande experiment på olika datauppsättningar (dvs. CIFAR-100 och ImageNet) visar hur effektiva de föreslagna metoderna är. För att belysa, med hjälp av våra metoder för att träna ett 4-bitars precisionsnätverk leder till ingen prestandaminskning jämfört med dess fullprecision motsvarighet med vanliga nätverksarkitekturer (dvs., AlexNet och ResNet-50).
Dessutom Zhuang et al. föreslå tre effektiva metoder för att förbättra lågprecisionsnätverksutbildning REF.
Towards Effective Low-Bitwidth Convolutional Neural Networks
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}