Kunskap Destillation (KD) består av att överföra "kunskap" från en maskininlärningsmodell (läraren) till en annan (studenten). Vanligen är läraren en högkapacitetsmodell med formidabel prestanda, medan studenten är mer kompakt. Genom att överföra kunskap hoppas man kunna dra nytta av den studerandes kompaktitet, utan att offra för mycket prestationsförmåga. Vi studerar KD ur ett nytt perspektiv: istället för att komprimera modeller, utbildar vi studenter som är identiska med sina lärare. Förvånansvärt nog överträffar dessa Born-Again Networks (BAN) sina lärare avsevärt, både när det gäller datorseende och språkmodelleringsuppgifter. Våra experiment med BAN baserade på DenseNets visar toppmoderna prestanda på CIFAR-10 (3,5%) och CIFAR-100 (15,5%) datauppsättningar, genom valideringsfel. Ytterligare experiment utforskar två destillationsmål: (i) Confidence-weighted by Teacher Max (CWTM) and (ii) Dark Knowledge with Permuted Predictions (DKPP). Båda metoderna belyser de väsentliga beståndsdelarna i KD och visar hur lärarnas resultat påverkar både förutsagda och icke predikterade klasser.
Furlanello m.fl. REF utbildade studentnätverket i förhållande till lärarnätverket.
Born Again Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}