Djupa neurala nätverk (DNN) fortsätter att göra betydande framsteg, lösa uppgifter från bildklassificering till översättning eller förstärka lärande. En aspekt av fältet som får stor uppmärksamhet är att effektivt utföra djupa modeller i resursanpassade miljöer, såsom mobila eller inbyggda enheter. Detta dokument fokuserar på detta problem, och föreslår två nya kompressionsmetoder, som gemensamt utnyttjar viktkvantisering och destillation av större nätverk, så kallade "lärare", till komprimerade "studenter" nätverk. Den första metod vi föreslår kallas kvantiserad destillation och utnyttjar destillation under utbildningsprocessen, genom att införliva destillationsförlust, uttryckt med avseende på lärarnätverket, i utbildningen av ett mindre studentnätverk vars vikter är kvantiserade till en begränsad uppsättning nivåer. Den andra metoden, differentiable kvantization, optimerar platsen för kvantisering punkter genom stokastisk lutning nedstigning, för att bättre passa beteendet hos läraren modellen. Vi validerar båda metoderna genom experiment på konvolutionella och återkommande arkitekturer. Vi visar att kvantiserade grunda studenter kan nå liknande noggrannhetsnivåer som toppmoderna fullprecisionslärarmodeller, samtidigt som de ger upp till storleksordningen kompression, och inference speedup som är nästan linjär i djupreduktion. Sammanfattningsvis gör våra resultat det möjligt för DNN:er för resursanpassade miljöer att utnyttja arkitektur och precisionsframsteg som utvecklats på kraftfullare enheter.
Destillation REF optimerar kvantiseringsnivåer direkt för att minimera aktivitetsförlusten som återspeglar beteendet hos deras lärarnätverk.
Model compression via distillation and quantization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}