I detta dokument undersöks användningen av kunskapsdestillering för att förbättra ett Multi-Task Deep Neural Network (MT-DNN) för att lära sig textrepresentationer över flera naturliga språkförståelseuppgifter. Även om ensemble lärande kan förbättra modellen prestanda, kan tjäna en ensemble av stora DNN som MT-DNN vara oöverkomligt dyrt. Här tillämpar vi kunskapsdestilleringsmetoden (Hinton et al., 2015) i multi-task inlärningsmiljö. För varje uppgift tränar vi en ensemble av olika MTDNNs (lärare) som överträffar varje enskild modell, och sedan träna en enda MT-DNN (student) via multi-task lära sig att destillera kunskap från dessa ensemblelärare. Vi visar att den destillerade MT-DNN betydligt överträffar den ursprungliga MT-DNN på 7 av 9 GLUE uppgifter, vilket driver GLUE-riktmärket (en enda modell) till 83,7% (1,5% absolut förbättring 1 ). Kod och förskolade modeller kommer att offentliggöras på https://github.com/namisan/mt-dnn.
REF utbilda en ensemble av stora DNNs och sedan destillera sina kunskaper till en enda DNN via multi-task lärande för att ensemble sin lärare prestanda.
Improving Multi-Task Deep Neural Networks via Knowledge Distillation for Natural Language Understanding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}