Det senaste arbetet med att introducera AI2 Reasoning Challenge (ARC) och tillhörande ARC dataset som partitionerar öppen domän, komplexa vetenskapliga frågor i en Easy Set och en Challenge Set. Det dokumentet innehåller en analys av 100 frågor med avseende på de typer av kunskaper och resonemang som krävs för att besvara dem. Det innehåller dock inga tydliga definitioner av dessa typer, och det innehåller inte heller information om märkningens kvalitet. Vi föreslår en omfattande uppsättning definitioner av kunskap och resonemang som behövs för att besvara frågorna i ARC-datasetet. Med hjälp av tio annoterare och ett sofistikerat notationsgränssnitt analyserar vi distributionen av etiketter över Challenge Set och statistik relaterade till dem. Dessutom visar vi att även om naiva metoder för informationssökning återger meningar som inte är relevanta för att besvara frågan, finns det ofta tillräckligt med stödjande text i (ARC) corpus. Utvärdering med mänskligt utvalda relevanta meningar förbättrar prestandan hos en neural maskinförståelsemodell med 42 poäng.
För ARC-datauppsättningen föreslog REF kunskaps- och resonemangstyper.
A Systematic Classification of Knowledge, Reasoning, and Context within the ARC Dataset
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}