Eftersom överföring Learning från storskaliga förutbildade modeller blir vanligare i Natural Language Processing (NLP), är det fortfarande svårt att använda dessa stora modeller i on-thedge och/eller under begränsad beräkningsutbildning eller inference budgetar. I detta arbete föreslår vi en metod för att pre-trainee en mindre allmän språk representation modell, kallad DistilBERT, som sedan kan finjusteras med goda prestationer på ett brett spektrum av uppgifter som sina större motsvarigheter. Medan de flesta tidigare arbeten undersökte användningen av destillation för att bygga uppgiftsspecifika modeller, utnyttjar vi kunskapsdestillation under förutbildningsfasen och visar att det är möjligt att minska storleken på en BERT-modell med 40 %, samtidigt som 97 % av dess språkförståelseförmåga bibehålls och 60 % snabbare. För att utnyttja de induktiva fördomar som större modeller lärt sig under förutbildningen introducerar vi en trippelförlust som kombinerar språkmodellering, destillering och cosinus-distansförluster. Vår mindre, snabbare och lättare modell är billigare att pre-train och vi demonstrerar dess kapacitet för datorberäkningar i ett proof-of-concept experiment och en jämförande on-device studie.
REF föreslår DistilBERT, som med framgång halverar BERT-modellens djup genom kunskapsdestillation i förutbildningsstadiet och en valfri finjusteringsfas.
DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}