Vi introducerar en metod för att träna Binarized Neural Networks (BNN) -neurala nätverk med binära vikter och aktiveringar vid körtid. Vid träningstid används binärvikter och aktiveringar för beräkning av parametrarnas gradienter. Under frampasset minskar BNN drastiskt minnesstorleken och åtkomsterna, och ersätter de flesta aritmetiska operationer med bitvisa operationer, vilket förväntas avsevärt förbättra effekteffektiviteten. För att bekräfta effektiviteten av BNN genomför vi två uppsättningar experiment på Torch7 och Theano ramverk. På båda dessa resultat uppnådde BNN nästan toppmoderna resultat över datauppsättningarna MNIST, CIFAR-10 och SVHN. Sist men inte minst skrev vi en binär matris multiplikation GPU-kärna med vilken det är möjligt att köra vår MNIST BNN 7 gånger snabbare än med en ooptimerad GPU-kärna, utan att lida någon förlust i klassificeringsnoggrannhet. Koden för att träna och köra våra BNNs finns på nätet.
BinaryNet REF presenterar en träningsalgoritm för binära neurala nätverk med vikter och aktiveringar kvantiserade till 1-bitars.
Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1
{'venue': None, 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science']}