Även om djupet tenderar att förbättra nätverksprestanda, gör det också gradientbaserad träning svårare eftersom djupare nätverk tenderar att vara mer icke-linjära. Den nyligen föreslagna kunskapsdestilleringsmetoden syftar till att få fram små och snabba modeller, och den har visat att ett studentnätverk kan imitera det mjuka resultatet av ett större lärarnätverk eller ensemble av nätverk. I denna uppsats utvidgar vi denna idé för att möjliggöra utbildning av en student som är djupare och tunnare än läraren, inte bara med hjälp av resultaten utan också de mellanliggande representationer som läraren lärt sig som tips för att förbättra den studerandes utbildningsprocess och slutresultat. Eftersom den studerandes mellanliggande dolda lager i allmänhet kommer att vara mindre än lärarens mellanliggande dolda lager, införs ytterligare parametrar för att kartlägga den studerandes dolda lager till förutsägelsen av läraren dolda lager. Detta gör att man kan träna djupare studenter som kan generalisera bättre eller köra snabbare, en kompromiss som styrs av den valda studentkapaciteten. Till exempel, på CIFAR-10, ett djupt studentnätverk med nästan 10,4 gånger mindre parametrar överträffar ett större, toppmodernt lärarnätverk.
I REF tränas dessutom studentnätverket inte bara med hjälp av softtargets, utan också med hjälp av tips från de mellanliggande skikten.
FitNets: Hints for Thin Deep Nets
{'venue': 'ICLR 2015', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}