Modelldestillation syftar till att destillera kunskapen om en komplex modell till en enklare. I detta dokument överväger vi en alternativ formulering som kallas datasetdestillation: vi håller modellen fast och försöker istället att destillera kunskapen från en stor träningsdataset till en liten. Tanken är att syntetisera ett litet antal datapunkter som inte behöver komma från rätt datadistribution, men kommer, när det ges till inlärningsalgoritmen som träningsdata, ungefär den modell som tränas på originaldata. Till exempel visar vi att det är möjligt att komprimera 60 000 MNIST träningsbilder till bara 10 syntetiska destillerade bilder (en per klass) och uppnå nära ursprungliga prestanda med bara några steg av lutning nedstigning, med tanke på en viss fast nätverk initialisering. Vi utvärderar vår metod i ett brett spektrum av initieringsmiljöer och med olika inlärningsmål. Experiment på flera datauppsättningar visar fördelen med vårt tillvägagångssätt jämfört med alternativa metoder i de flesta miljöer.
Medan, Wang et al. REF införde en metod för destillering av dataset, där modellen hålls fast och kunskapen destilleras från ett stort träningsdataset till ett litet.
Dataset Distillation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}