Nya framsteg i modellkompression har gett förfaranden för att komprimera stora neurala nätverk till en bråkdel av deras ursprungliga storlek samtidigt behålla de flesta om inte alla av deras noggrannhet. Alla dessa tillvägagångssätt bygger dock på tillgång till den ursprungliga utbildningssetet, vilket kanske inte alltid är möjligt om det nätverk som ska komprimeras utbildades på en mycket stor dataset, eller på en dataset vars frisläppande medför integritets- eller säkerhetsproblem, vilket kan vara fallet för biometriska uppgifter. Vi presenterar en metod för datafri kunskapsdestillering, som kan komprimera djupa neurala nätverk som är utbildade på storskaliga dataset till en bråkdel av deras storlek och endast utnyttja några extra metadata som ska tillhandahållas med en förtränad modell release. Vi utforskar också olika typer av metadata som kan användas med vår metod, och diskuterar kompromisser som är involverade i att använda var och en av dem.
REF använde några extra metadata för att lära sig mindre djupa neurala nätverk.
Data-Free Knowledge Distillation for Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}