Vi presenterar en ny frågeuppsättning, text corpus, och baslinjer som samlats för att uppmuntra AI-forskning i avancerade frågesvar. Tillsammans utgör dessa AI2-resonemangsutmaningen (ARC), som kräver mycket starkare kunskap och resonemang än tidigare utmaningar som SQuAD eller SNLI. ARC-frågan delas upp i en Challenge Set och en Easy Set, där Challenge Set endast innehåller frågor som besvaras felaktigt av både en hämtning-baserad algoritm och ett ord co-occurence algoritm. Datasetet innehåller endast naturliga, klass-vetenskapliga frågor (författare för mänskliga tester), och är den största offentliga-domänuppsättningen av detta slag (7 787 frågor). Vi testar flera baslinjer på Challenge Set, inklusive ledande neurala modeller från SQuAD och SNLI uppgifter, och finner att ingen kan avsevärt överträffa en slumpmässig baslinje, återspeglar den svåra karaktären av denna uppgift. Vi släpper också ARC Corpus, en corpus av 14M vetenskapliga meningar relevanta för uppgiften, och implementeringar av de tre neurala baslinje modeller som testats. Kan din modell prestera bättre? Vi utgör ARC som en utmaning för samhället.
AI2 Reasoning Challenge REF innehåller 7 787 genuina vetenskapliga frågor på grundskolenivå med en corpus av 14M vetenskapliga referens meningar.
Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}