Abstrakt. Knowledge Transfer (KT) tekniker tar itu med problemet med att överföra kunskap från ett stort och komplext neuralt nätverk till ett mindre och snabbare. Befintliga KT-metoder är dock skräddarsydda för klassificeringsuppgifter och kan inte användas effektivt för andra representationsinlärningsuppgifter. I detta dokument föreslår vi en ny probabilistisk metod för kunskapsöverföring som fungerar genom att matcha sannolikhetsfördelningen av data i funktionsutrymmet i stället för deras faktiska representation. Bortsett från att befintliga KT-tekniker överträffas, möjliggör den föreslagna metoden att övervinna flera av sina begränsningar, vilket ger ny insikt i KT-tillämpningar och nya KT-tillämpningar, allt från handgjorda funktionsextraktorer till tvärmodala KT från textmodaliteten till den representation som extraheras från datans visuella modalitet.
PKT REF tillämpar ett annat tillvägagångssätt där de modellerar interaktionen mellan dataproverna i funktionsutrymmet som en sannolikhetsfördelning.
Learning Deep Representations with Probabilistic Knowledge Transfer
{'venue': 'ECCV', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}