Klassiska destillationsmetoder överför representationer från ett "lärare" neuralt nätverk till ett "student" nätverk genom att matcha deras utdata aktiveringar. Nya metoder matchar också jakobinerna, eller lutningen av utdata aktiveringar med inmatningen. Detta innebär dock att fatta vissa ad hoc-beslut, särskilt valet av förlustfunktion. I detta dokument fastställer vi först en likvärdighet mellan Jacobian matchning och destillation med ingångsbuller, från vilket vi får lämpliga förlustfunktioner för Jacobian matchning. Vi förlitar oss sedan på denna analys för att tillämpa Jacobian matchning för att överföra lärande genom att fastställa likvärdighet av en nyligen överför lärande förfarande till destillation. Vi visar sedan experimentellt på standardbilddataset att Jacobiska-baserade sanktioner förbättrar destillation, robusthet till bullriga ingångar och överföring av lärande.
Srinivas och Fleuret REF förbättrade den genom att använda Jacobian matchning till nätverk.
Knowledge Transfer with Jacobian Matching
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}