Vi introducerar Dynamic Deep Neural Networks (D 2 NN), en ny typ av feed-forward djupa neurala nätverk som tillåter selektivt utförande. Med tanke på en input utförs endast en delmängd av D 2 NN-neuroner, och den särskilda undergruppen bestäms av själva D 2 NN. Genom att beskära onödiga beräkningar beroende på indata, ger D 2 NN ett sätt att förbättra beräkningseffektiviteten. För att uppnå dynamisk selektiv exekvering, förstärker en D 2 NN ett regelbundet feed-forward djupt neuralt nätverk (riktat acykliskt diagram av olika moduler) med en eller flera styrenheter moduler. Varje styrenhetsmodul är ett delnätverk vars utdata är ett beslut som styr om andra moduler kan köras. En D2 NN utbildas till slut. Både vanliga moduler och styrenheter i en D2 NN är lärbara och är gemensamt utbildade för att optimera både noggrannhet och effektivitet. Sådan utbildning uppnås genom integrering av backpropagation med förstärkande inlärning. Med omfattande experiment av olika D 2 NN-arkitekturer på bildklassificeringsuppgifter, visar vi att D 2 NN är allmänna och flexibla, och kan effektivt optimera precisions-effektivitet kompromisser.
Det närmaste arbetet till vårt är Dynamic Deep Neural Networks REF som möjliggör selektivt utförande genom att integrera backpropagation med förstärkningslärande.
Dynamic Deep Neural Networks: Optimizing Accuracy-Efficiency Trade-offs by Selective Execution
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}