Läsförståelse (RC)-i motsats till informationshämtning-kräver att integrera information och resonemang om händelser, enheter, och deras relationer över ett fullständigt dokument. Frågesvar används konventionellt för att bedöma RC förmåga, i både artificiella medel och barn att lära sig läsa. Befintliga RC-datauppsättningar och uppgifter domineras dock av frågor som kan lösas genom att välja svar med hjälp av ytlig information (t.ex. lokal kontextlikhet eller global termfrekvens); de misslyckas därmed med att testa den väsentliga integrativa aspekten av RC. För att uppmuntra framsteg med djupare förståelse av språket presenterar vi en ny uppsättning data och uppgifter där läsaren måste svara på frågor om berättelser genom att läsa hela böcker eller filmskript. Dessa uppgifter är utformade så att ett framgångsrikt svar på deras frågor kräver att man förstår den underliggande berättelsen i stället för att förlita sig på ytliga mönstermatchning eller talience. Vi visar att även om människor löser uppgifterna lätt, vanliga RC-modeller kämpar på de uppgifter som presenteras här. Vi tillhandahåller en analys av datasetet och de utmaningar det innebär.
NarrativeQA REF föreslog en datauppsättning om berättelser eller sammanfattningar av böcker eller filmskript.
The NarrativeQA Reading Comprehension Challenge
{'venue': 'Transactions of the Association for Computational Linguistics', 'journal': 'Transactions of the Association for Computational Linguistics', 'mag_field_of_study': ['Computer Science']}