Nuvarande metoder för kunskapsdestillering (KD) använder antingen direkt utbildningsdata eller prov från utbildningsdatadistributionen. I detta dokument demonstrerar vi effektiviteten hos "missmatchade" omärkta stimulanser för att utföra KD för bildklassificeringsnätverk. För att illustrera, Vi överväger scenarier där detta är en fullständig avsaknad av träningsdata, eller missmatchade stimulans måste användas för att öka en liten mängd träningsdata. Vi visar att stimulansens komplexitet är en nyckelfaktor för destillationens goda prestanda. Våra exempel inkluderar användning av olika dataset för att stimulera MNIST- och CIFAR-lärare.
Kulkarni m.fl. REF visade hur effektiv den ojämlika stimulansen för kunskapsdestillering var.
Knowledge distillation using unlabeled mismatched images
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}