Deep Neural Networks (DNN) har uppnått toppmoderna resultat i ett brett spektrum av uppgifter, med de bästa resultaten med stora träningsset och stora modeller. Tidigare aktiverade GPU dessa genombrott på grund av deras större beräkningshastighet. I framtiden kommer snabbare beräkning både vid utbildning och testtid sannolikt att vara avgörande för ytterligare framsteg och för konsumenttillämpningar på lågeffektenheter. Som ett resultat av detta finns det stort intresse för forskning och utveckling av dedikerad hårdvara för Deep Learning (DL). Binära vikter, dvs. vikter som är begränsade till endast två möjliga värden (t.ex. -1 eller 1), skulle ge stora fördelar för specialiserade DL hårdvara genom att ersätta många multiplikationsackumulera operationer med enkla ansamlingar, eftersom multiplikatorer är de mest utrymme och powerhungry komponenter i den digitala implementeringen av neurala nätverk. Vi introducerar BinaryConnect, en metod som består i att träna en DNN med binära vikter under framåt och bakåt förökningar, samtidigt som precisionen av de lagrade vikter där lutningar ackumuleras. Liksom andra avhoppsprogram visar vi att BinaryConnect fungerar som regularizer och vi får nära state-of-the-art resultat med BinaryConnect på permutation-invariant MNIST, CIFAR-10 och SVHN.
BinaryConnect REF utökade idén att träna neurala nätverk med binära vikter.
BinaryConnect: Training Deep Neural Networks with binary weights during propagations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}