QA system har gjort stadiga framsteg i den utmanande grundläggande vetenskap examen domän. I detta arbete utvecklar vi en förklaringsbaserad analys av kunskap och inferenskrav som stödjer en finkornig karakterisering av utmaningarna. I synnerhet modellerar vi de krav som baseras på lämpliga beviskällor som ska användas för kvalitetssäkringsarbetet. Vi skapar krav genom att först identifiera lämpliga meningar i en kunskapsbas som stöder rätt svar, sedan använda dessa för att bygga förklaringar, fylla i alla nödvändiga saknade uppgifter. Dessa förklaringar används för att skapa en finkornig kategorisering av kraven. Med hjälp av dessa krav jämför vi en hämtning och en slutlösning på 212 frågor. Analysen validerar vinsten av inferenslösaren och visar att den besvarar fler frågor som kräver komplex inferens, samtidigt som den ger insikter om de relativa styrkorna hos lösarna och kunskapskällorna. Vi släpper de kommenterade frågorna och förklaringarna som en resurs med bred nytta för vetenskap examen QA, inklusive att bestämma kunskapsbas byggmål, samt stödja informationsaggregation i automatiserad inferens.
REF har analyserat kunskap och slutsatser krav för vetenskap examen frågor.
What's in an Explanation? Characterizing Knowledge and Inference Requirements for Elementary Science Exams
{'venue': 'COLING', 'journal': None, 'mag_field_of_study': ['Computer Science']}