Djupt lärande nätverk har uppnått toppmoderna noggrannheter om datorseende arbetsbelastningar som bildklassificering och objektdetektering. De performantsystem, dock, normalt involverar stora modeller med många parametrar. När de väl har utbildats är en utmanande aspekt för sådana modeller som presterar bäst att använda resursbegränsade inferenssystem – modellerna (ofta djupa nätverk eller breda nätverk eller båda) är beräknande och minnesintensiva. Lågprecisionsnumerik och modellkompression med hjälp av kunskapsdestillering är populära tekniker för att sänka både beräkningskrav och minnesavtryck av dessa utplacerade modeller. I detta dokument studerar vi kombinationen av dessa två tekniker och visar att prestandan hos lågprecisionsnätverk kan förbättras avsevärt genom användning av kunskap destillationstekniker. Vår strategi, Apprentice, uppnår state-of-the-art accuracies med hjälp av ternära precision och 4-bitars precision för varianter av ResNet arkitektur på ImageNet dataset. Vi presenterar tre system med vilka man kan tillämpa teknik för kunskapsdestillering på olika stadier av tåg- och expeditionsledningen.
Apprentice REF använde teknik för kunskapsdestillation genom att lägga till ett hjälpnätverk för att förbättra prestandan hos lågprecisionsnät.
Apprentice: Using Knowledge Distillation Techniques To Improve Low-Precision Network Accuracy
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}