Ett mycket enkelt sätt att förbättra prestandan hos nästan alla maskininlärningsalgoritmer är att träna många olika modeller på samma data och sedan att i genomsnitt deras förutsägelser [3]. Tyvärr, att göra förutsägelser med hjälp av en hel ensemble av modeller är besvärligt och kan vara alltför beräknings dyrt för att tillåta spridning till ett stort antal användare, särskilt om de enskilda modellerna är stora neurala nät. Caruana och hans medarbetare [1] har visat att det är möjligt att komprimera kunskapen i en ensemble till en enda modell som är mycket lättare att använda och vi utvecklar denna metod vidare med hjälp av en annan kompressionsteknik. Vi uppnår överraskande resultat på MNIST och vi visar att vi avsevärt kan förbättra den akustiska modellen av ett kraftigt använt kommersiellt system genom att destillera kunskapen i en ensemble av modeller till en enda modell. Vi introducerar också en ny typ av ensemble som består av en eller flera fullständiga modeller och många specialiserade modeller som lär sig att skilja på finkorniga klasser som de fullständiga modellerna förvirrar. Till skillnad från en blandning av experter kan dessa specialmodeller utbildas snabbt och parallellt.
Modelldestillation använder en stor modell för att träna en mindre modell REF.
Distilling the Knowledge in a Neural Network
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}