Abstrakt. I detta arbete studerar vi 1-bitars konvolutionella neurala nätverk (CNN), av vilka både vikter och aktiveringar är binära. Även om den är effektiv, klassificering noggrannheten för de nuvarande 1-bitars CNN är mycket sämre jämfört med deras motsvarighet real-värderade CNN-modeller på den storskaliga datauppsättningen, som ImageNet. För att minimera prestandagapet mellan 1-bitars och verkligt värderade CNN-modeller föreslår vi en ny modell, dubbat Bi-Real-nät, som ansluter de verkliga aktiveringarna (efter 1-bitars konvolution och/eller BatchNorm-lager, innan teckenfunktionen) till aktiveringar av det på varandra följande blocket, genom en identitetsgenväg. Följaktligen, jämfört med standard 1-bitars CNN, är representationskapaciteten hos Bi-Real-nätet avsevärt förbättrad och den extra kostnaden för beräkning är försumbar. Dessutom utvecklar vi en specifik utbildningsalgoritm med tre tekniska nyheter för 1-bitars CNN. För det första har vi en snäv approximation till derivatan av den icke-differentierbara teckenfunktionen med avseende på aktivering. För det andra föreslår vi en magnitudmedveten lutning med avseende på vikten för uppdatering av viktparametrarna. För det tredje, vi pre-traine den verkligt värderade CNN-modellen med en clip funktion, snarare än ReLU-funktionen, för att bättre initiera Bi-Real nätet. Experiment på ImageNet visar att Bi-Real-nätet med den föreslagna träningsalgoritmen uppnår 56,4 % respektive 62,2 % topp-1-noggrannhet med 18 lager respektive 34 lager. Jämfört med state-of-the-arts (t.ex., XNOR Net) uppnår Bi-Real-nätet upp till 10% högre topp-1-noggrannhet med mer minnesbesparing och lägre beräkningskostnad.
Bi-Real Net REF minskade avsevärt minnesavtryck och beräkningskostnader genom att ställa in alla vikter och aktiveringar till binära värden.
Bi-Real Net: Enhancing the Performance of 1-bit CNNs With Improved Representational Capability and Advanced Training Algorithm
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}