Beräknings- och lagringskraven för Deep Neural Networks (DNN) är vanligtvis höga. Denna fråga begränsar deras utplaceringsmöjligheter på allmänt förekommande datorutrustning såsom smarta telefoner, bärbara och autonoma drönare. I detta dokument föreslår vi ternära neurala nätverk (TNN) för att göra djupt lärande mer resurseffektivt. Vi utbildar dessa TNNs med en lärar-student metod baserad på en ny, lagermässigt girig metod. Tack vare vårt tvåstegsutbildningsförfarande kan lärarnätverket fortfarande använda toppmoderna metoder som avhopp och batchnormalisering för att öka noggrannheten och minska träningstiden. Med hjälp av endast ternära vikter och aktiveringar lär sig studentternära nätverk att efterlikna beteendet hos sitt lärarnätverk utan att använda någon multiplikation. Till skillnad från dess {-1,1} binära motsvarigheter, en ternära neurala nätverk beskär i sig mindre vikter genom att sätta dem till noll under träning. Detta gör dem glesare och därmed mer energieffektiva. Vi designar en specialbyggd maskinvaruarkitektur för TNNs och implementerar den på FPGA och ASIC. Vi utvärderar TNNs på flera benchmarking dataset och visar upp till 3.1× bättre energieffektivitet med avseende på den senaste tekniken samtidigt förbättra noggrannheten.
I detta arbete använder vi det tillvägagångssätt som beskrivs i Reference Ref för utbildning med hjälp av ternära vikter och aktiveringar.
Ternary neural networks for resource-efficient AI applications
{'venue': '2017 International Joint Conference on Neural Networks (IJCNN)', 'journal': '2017 International Joint Conference on Neural Networks (IJCNN)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}