Trots att dagens system för läsförståelse har gjort betydande framsteg, uppnås ofta deras lovande prestationer på bekostnad av att göra en ensemble av många modeller. Dessutom är befintliga metoder också sårbara för kontradiktoriska attacker. Detta dokument tar upp dessa problem genom att utnyttja kunskapsdestillation, som syftar till att överföra kunskap från en ensemblemodell till en enda modell. Vi visar först att vanilj kunskap destillation tillämpas för svar span förutsägelse är effektivt för att läsa förståelse system. Vi föreslår sedan två nya metoder som inte bara bestraffar förutsägelsen om förvirrande svar utan också vägleder utbildningen med anpassningsinformation destillerad från ensemblen. Experiment visar att vår bästa studentmodell bara har en liten droppe på 0,4% F1 på SQuAD-testet jämfört med ensembleläraren, medan kör 12× snabbare under inference. Det överträffar till och med läraren på kontradiktoriska SQuAD-datauppsättningar och NarrativeQA-riktmärke.
I samband med läsförståelse eller spännförutsägelse har REF nyligen visat att vi kan destillera kunskap från en ensemble av modeller till en enda modell.
Attention-Guided Answer Distillation for Machine Reading Comprehension
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}