Abstrakt. Knowledge Transfer (KT) tekniker tar itu med problemet med att överföra kunskap från ett stort och komplext neuralt nätverk till ett mindre och snabbare. Befintliga KT-metoder är dock skräddarsydda för klassificeringsuppgifter och kan inte användas effektivt för andra representationsinlärningsuppgifter. I detta dokument föreslår vi en ny probabilistisk metod för kunskapsöverföring som fungerar genom att matcha sannolikhetsfördelningen av data i funktionsutrymmet i stället för deras faktiska representation. Bortsett från att befintliga KT-tekniker överträffas, möjliggör den föreslagna metoden att övervinna flera av sina begränsningar, vilket ger ny insikt i KT-tillämpningar och nya KT-tillämpningar, allt från handgjorda funktionsextraktorer till tvärmodala KT från textmodaliteten till den representation som extraheras från datans visuella modalitet.
Passalis och Tefas REF förvandlade den inlärda kunskapen till en sannolikhetsfördelning och överförde sedan sannolikhetsfördelningen.
Learning Deep Representations with Probabilistic Knowledge Transfer
{'venue': 'ECCV', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}