Multiplikatorer är de mest utrymme och makthungriga aritmetiska operatörer av det digitala genomförandet av djupa neurala nätverk. Vi utbildar en uppsättning av toppmoderna neurala nätverk (Max-out nätverk) på tre referensdatauppsättningar: MNIST, CIFAR-10 och SVHN. De tränas med tre olika format: flyttal, fast punkt och dynamisk fast punkt. För var och en av dessa datauppsättningar och för vart och ett av dessa format bedömer vi hur precisionen hos multiplikationerna påverkar det slutliga felet efter utbildningen. Vi anser att mycket låg precision räcker inte bara för att köra tränade nätverk utan också för att utbilda dem. Till exempel är det möjligt att träna Maxout nätverk med 10 bits multiplikationer.
Mer nyligen, i REF, författarna utbilda neurala nätverk med flytta-punkt, fast-punkt och dynamisk fastpunkt format och visa att fast-punkt vikter är tillräckliga för utbildning.
Training deep neural networks with low precision multiplications
{'venue': None, 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science']}