Vi presenterar RACE, en ny datauppsättning för benchmarking av metoder i läsförståelseuppgiften. Samlade från de engelska tentor för mellan- och gymnasie kinesiska elever i åldern mellan 12 och 18, RACE består av nära 28.000 passager och nära 100.000 frågor som genereras av mänskliga experter (Engelska instruktörer), och täcker en mängd olika ämnen som är noggrant utformade för att utvärdera elevernas förmåga att förstå och resonera. I synnerhet är andelen frågor som kräver resonemang mycket större i RACE än i andra referensdatauppsättningar för läsförståelse, och det finns en betydande skillnad mellan prestandan hos de senaste modellerna (43 %) och den mänskliga prestandan i taket (95 %). Vi hoppas att denna nya datauppsättning kan fungera som en värdefull resurs för forskning och utvärdering i maskinförståelse. Datasetet är fritt tillgängligt på
RACE REF är ett engelskt examensdataset för kinesiska elever i mellan- och högstadiet.
RACE: Large-scale ReAding Comprehension Dataset From Examinations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}