Abstract-Vi föreslår användning av ofullständiga punktprodukter (IDP) för att dynamiskt justera antalet ingångar som används i varje lager av ett konvolutionellt neuralt nätverk under feedforward inference. IDP lägger monotont icke-ökande koefficienter, som kallas "profil", till kanalerna under utbildningen. Profilen beställer bidraget från varje kanal i icke-ökande ordning. Vid sluttidpunkten kan antalet kanaler som används anpassas dynamiskt för att byta ut noggrannheten mot lägre strömförbrukning och minskad latens genom att endast välja en inledande delmängd av kanalerna. Detta tillvägagångssätt gör det möjligt för ett enda nätverk att dynamiskt skala över ett beräkningsområde, i motsats till utbildning och utbyggnad av flera nätverk för att stödja olika nivåer av beräkningsskalning. Dessutom utökar vi begreppet till flera profiler, var och en optimerad för ett visst urval av beräkningsskalning. Vi presenterar experiment på beräkning och noggrannhet kompromisser av IDP för populära bildklassificeringsmodeller och dataset. Vi visar att för MNIST och CIFAR-10 minskar IDP beräkningen avsevärt, t.ex. med 75 %, utan att avsevärt kompromissa med noggrannheten. Vi hävdar att internflykting är ett bekvämt och effektivt sätt för enheter att sänka beräkningskostnaderna dynamiskt för att återspegla systemets nuvarande beräkningsbudget. Till exempel, VGG-16 med 50% IDP (med bara de första 50% av kanalerna) uppnår 70% i noggrannhet på CIFAR-10 dataset jämfört med standardnätverk som uppnår endast 35% noggrannhet när du använder den reducerade kanalset.
McDanel m.fl. REF använder ofullständiga punktprodukter för att dynamiskt justera antalet inmatningskanaler som används i varje lager.
Incomplete Dot Products for Dynamic Computation Scaling in Neural Network Inference
{'venue': '2017 16th IEEE International Conference on Machine Learning and Applications (ICMLA)', 'journal': '2017 16th IEEE International Conference on Machine Learning and Applications (ICMLA)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}