Vi presenterar MCTest, en fritt tillgänglig samling berättelser och tillhörande frågor avsedda för forskning om maskinförståelse av text. Tidigare arbete med maskinförståelse (t.ex. semantisk modellering) har gjort stora framsteg, men fokuserar i första hand antingen på begränsade datauppsättningar eller på att lösa ett mer begränsat mål (t.ex. I kontrast, MCTest kräver maskiner för att svara på flera val av läsförståelse frågor om fiktiva berättelser, direkt ta itu med hög nivå målet med öppen-domän maskinförståelse. Läsförståelse kan testa avancerade förmågor som kausalt resonemang och förståelse av världen, men genom att vara flera val, fortfarande ge en tydlig metriska. Genom att vara påhittad kan svaret vanligtvis bara hittas i själva berättelsen. Berättelserna och frågorna är också noggrant begränsade till dem som ett litet barn skulle förstå, vilket minskar den världskunskap som krävs för uppgiften. Vi presenterar skalbara crowd-sourcing metoder som tillåter oss att billigt konstruera en datauppsättning på 500 våningar och 2000 frågor. Genom att visa arbetstagare (med grammatiktester) och berättelser (med gradering) har vi sett till att uppgifterna är av samma kvalitet som en annan uppsättning som vi redigerar manuellt, men till en tiondel av redigeringskostnaden. Genom att vara öppen-domän, men noga begränsad, hoppas vi att MCTest kommer att bidra till att uppmuntra forskning och ge ett tydligt mått för framsteg på maskinförståelse av text.
Till exempel innehåller MCTest REF förståelsefrågor för fiktiva berättelser.
MCTest: A Challenge Dataset for the Open-Domain Machine Comprehension of Text
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}