Kompression och beräkningseffektivitet i djupinlärning har blivit ett problem av stor betydelse. I detta arbete hävdar vi att det mest principiella och effektiva sättet att angripa detta problem är genom att ta en Bayesisk ståndpunkt, där vi genom sparsamhet framkallar tidigare vi beskär stora delar av nätet. Vi introducerar två nyheter i detta papper: 1) vi använder hierarkiska föregångare till plommon noder i stället för individuella vikter, och 2) vi använder de bakre osäkerheterna för att bestämma den optimala fasta punktprecisionen för att koda vikterna. Båda faktorerna bidrar väsentligt till att uppnå den senaste tekniken när det gäller kompressionshastigheter, samtidigt som de fortfarande är konkurrenskraftiga med metoder som är utformade för att optimera hastighet eller energieffektivitet.
REF använder hierarkiska före till plommon noder i stället för enstaka vikter (och bakre osäkerheter för att bestämma fast punktprecision).
Bayesian Compression for Deep Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}