Trots djupa neurala nätverk har visat extra kraft i olika applikationer, deras överlägsna prestanda är till kostnader för hög lagring och beräkningskostnader. Följaktligen har accelerationen och kompressionen av neurala nätverk rönt stor uppmärksamhet på senare tid. Kunskapsöverföring (KT), som syftar till att utbilda ett mindre studentnätverk genom att överföra kunskap från en större lärarmodell, är en av de populära lösningarna. I detta dokument föreslår vi en ny metod för kunskapsöverföring genom att behandla den som ett distributionsmotsvarande problem. Särskilt matchar vi fördelningen av neuronselektivitetsmönster mellan lärar- och studentnätverk. För att uppnå detta mål, vi utforma en ny KT förlust funktion genom att minimera den maximala genomsnittliga Discrepancy (MMD) metriska mellan dessa fördelningar. I kombination med den ursprungliga förlustfunktionen kan vår metod avsevärt förbättra studentnätverkens prestanda. Vi validerar effektiviteten av vår metod över flera datauppsättningar, och ytterligare kombinera den med andra KT-metoder för att utforska bästa möjliga resultat.
En ny KT förlustfunktion är utformad för att minimera maximal genomsnittlig Discrepancy (MMD) metriska mellan funktionen fördelningar av student och lärare REF.
Like What You Like: Knowledge Distill via Neuron Selectivity Transfer
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}