Att utföra kunskapsöverföring från ett stort lärarnätverk till en mindre student är en populär uppgift i moderna djupinlärningsprogram. På grund av ökande datauppsättningsstorlekar och strängare integritetsregler blir det dock allt vanligare att inte ha tillgång till de uppgifter som användes för att utbilda läraren. Vi föreslår en ny metod som utbildar en student att matcha sina lärares förutsägelser utan att använda några data eller metadata. Vi uppnår detta genom att utbilda en kontradiktorisk generator för att söka efter bilder på vilka studenten dåligt matchar läraren, och sedan använda dem för att utbilda eleven. Vår resulterande student närmar sig sin lärare för enkla dataset som SVHN, och på CIFAR10 förbättrar vi den senaste tekniken för några bilder (med 100 bilder per klass), trots att vi inte använder några data. Slutligen föreslår vi också ett mått för att kvantifiera graden av trosmatchning mellan lärare och student i närheten av beslutsgränser, och observera en betydligt högre matchning mellan vår nollbildsstudent och läraren, än mellan en student destillerad med verkliga data och läraren.
I Adversarial Belief Matching REF, en generator genererade data som studenten missmatchade läraren, och sedan studentnätverket utbildades med hjälp av dessa data.
Zero-shot Knowledge Transfer via Adversarial Belief Matching
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}