Förtränade djupa neurala nätverk språkmodeller som ELMo, GPT, BERT och XLNet har nyligen uppnått state-of-the-art prestanda på en mängd olika språkförståelse uppgifter. Deras storlek gör dem dock opraktiska för ett antal scenarier, särskilt på mobila enheter och kantanordningar. I synnerhet indataordet inbäddning matris står för en betydande andel av modellens minnesavtryck, på grund av den stora indata vokabulär och inbäddning dimensioner. Kunskap destillationstekniker har haft framgång med att komprimera stora neurala nätverksmodeller, men de är ineffektiva på att ge studentmodeller med ordförråd som skiljer sig från de ursprungliga lärarmodellerna. Vi introducerar en ny teknik för kunskapsdestillering för att träna en studentmodell med en betydligt mindre vokabulär samt lägre inbäddade och dolda dimensioner. Specifikt använder vi en dubbelträningsmekanism som utbildar läraren och studentmodellerna samtidigt för att få optimala ordinslag för studentvokabuläret. Vi kombinerar detta tillvägagångssätt med att lära oss gemensamma projektionsmatriser som överför lagervis kunskap från lärarmodellen till studentmodellen. Vår metod kan komprimera BERT BASE-modellen med mer än 60x, med endast en mindre nedgång i aktivitetsmått nedströms, vilket resulterar i en språkmodell med ett fotavtryck på under 7MB. Experimentella resultat visar också högre komprimeringseffektivitet och noggrannhet jämfört med andra toppmoderna kompressionstekniker.
REF utbilda en studentmodell med mindre ordförråd och lägre dolda tillstånd dimensioner.
Extreme Language Model Compression with Optimal Subwords and Shared Projections
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}