Vi presenterar en ny dynamisk konfigurationsteknik för djupa neurala nätverk som möjliggör stegvis energi-noggrannhet kompromisser under körtiden. Vår konfigurationsteknik justerar antalet kanaler i nätverket dynamiskt beroende på svarstid, effekt och noggrannhetsmål. För att möjliggöra denna dynamiska konfigurationsteknik samdesignar vi en ny träningsalgoritm, där nätverket stegvis tränas så att vikterna i kanaler som tränas i tidigare steg är fasta. Vår teknik ger flexibilitet i flera nätverk vid lagring och användning av en uppsättning vikter. Vi utvärderar våra tekniker med både en ASIC-baserad hårdvaruaccelerator och en låg effekt inbyggd GPGPU och visar att vår strategi leder till endast en liten eller försumbar förlust i den slutliga nätverksnoggrannheten. Vi analyserar prestandan av våra föreslagna metodik med hjälp av tre välkända nätverk för MNIST, CIFAR-10, och SVHN dataset, och vi visar att vi kan uppnå upp till 95% energiminskning med mindre än 1% noggrannhetsförlust över de tre riktmärkena. Jämfört med tidigare arbete med dynamisk omkonfigurering av nätverk visar vi dessutom att vårt tillvägagångssätt leder till cirka 50 % besparingar i lagringsbehov, samtidigt som vi uppnår liknande noggrannhet.
föreslå en inkrementell inlärningsalgoritm där nätverket i inkrementella steg REF.
Runtime configurable deep neural networks for energy-accuracy trade-off
{'venue': "CODES '16", 'journal': None, 'mag_field_of_study': ['Computer Science']}