I denna uppsats presenterar vi en grundlig utvärdering av effekten av kunskapsdestillering och dess beroende av student- och lärararkitekturer. Med början i observationen att mer noggranna lärare ofta inte gör bra lärare försöker vi reta isär de faktorer som påverkar kunskapsdestilleringens prestanda. Vi finner av avgörande betydelse att större modeller inte ofta gör bättre lärare. Vi visar att detta är en följd av bristande kapacitet och att små studenter inte kan härma stora lärare. Vi finner typiska sätt att kringgå detta (t.ex. utföra en sekvens av kunskapsdestillation steg) för att vara ineffektiv. Slutligen visar vi att denna effekt kan mildras genom att lärarutbildningen stoppas tidigt. Våra resultat generaliseras över datauppsättningar och modeller.
Nyligen fann REF att mycket exakta nätverk är "för bra" för att vara bra lärare och föreslog att mildra detta med ett tidigt stopp av lärarens utbildning.
On the Efficacy of Knowledge Distillation
{'venue': 'ICCV 2019', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}