Läsa strategier har visat sig förbättra förståelse nivåer, särskilt för läsare som saknar tillräckliga förkunskaper. Precis som processen med kunskapsackumulering är tidskrävande för mänskliga läsare, är det resurskrävande att förmedla rik allmän domänkunskap till en djup språkmodell via förutbildning. Inspirerad av att läsa strategier identifierade i kognitiv vetenskap, och med tanke på begränsade beräkningsresurser - bara en förskolad modell och ett fast antal utbildningsinstanser - föreslår vi tre allmänna strategier som syftar till att förbättra icke-extraktiv maskinläsförståelse (MRC): i) BAKGRUND OCH FORTH LÄSNING som tar hänsyn till både den ursprungliga och omvända ordningen i en inmatningssekvens, ii) HÖGHET, som lägger till en utbildning i texten inbäddning av symboler som är relevanta för frågan och kandidaternas svar, och iii) SJÄLV-ASSESSMENT som genererar praktiska frågor och kandidatsvar direkt från texten på ett oövervakat sätt. Genom att finjustera en förtränad språkmodell (Radford et al., 2018) med våra föreslagna strategier för den största allmänna domänen multiple-choice MRC dataset RACE, får vi en 5,8 % absolut ökning i noggrannhet jämfört med det tidigare bästa resultatet som uppnås av samma förtränade modell finjusterade på RACE utan användning av strategier. Vi finjusterar ytterligare den resulterande modellen på ett mål MRC uppgift, vilket leder till en absolut förbättring på 6,2% i genomsnittlig noggrannhet jämfört med tidigare state-of-the-art metoder på sex representativa icke-extraktiva MRC datauppsättningar från olika domäner (dvs., ARC, OpenBookQA, MCTest, SemEval-2018 Uppgift 11, ROCStories, och MultiRC). Dessa resultat visar effektiviteten i våra föreslagna strategier och mångsidigheten och den allmänna tillämpligheten av * Detta arbete gjordes när K. S. var praktikant på Tencent AI Lab, Bellevue, WA. Våra finjusterade modeller som införlivar dessa strategier. Kärnkod finns på https: // github.com/ nlpdata/ strategi/.
REF presenterar några avläsningsstrategier för maskinläsförståelse såsom fram och tillbaka läsning eller markering.
Improving Machine Reading Comprehension with General Reading Strategies
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}