Medan människor samtalar med chatbots, tenderar de vanligtvis att ställa många frågor, av vilka en betydande del kan besvaras genom att hänvisa till storskaliga kunskapsgrafer (KG). Medan frågesvar (QA) och dialogsystem har studerats självständigt, finns det ett behov av att studera dem noga för att utvärdera sådana verkliga scenarier inför bots som involverar båda dessa uppgifter. I detta syfte introducerar vi uppgiften för Complex Sequential QA som kombinerar de två uppgifterna att (i) besvara faktiska frågor genom komplexa slutsatser över en realistisk storlek KG miljoner enheter, och (ii) lära sig att samtala genom en rad sammanhängande sammankopplade QA par. Genom en arbetsintensiv halvautomatisk process, med intern och crowdsourced arbetare, skapade vi ett dataset med cirka 200K dialoger med totalt 1,6M varv. Till skillnad från befintliga storskaliga QA-datauppsättningar som innehåller enkla frågor som kan besvaras från en enda tuple, kräver dessutom frågorna i våra dialogrutor en större subgraf av KG. Specifikt har vår datauppsättning frågor som kräver logiska, kvantitativa och jämförande resonemang samt deras kombinationer. Detta kräver modeller som kan: (i) tolka komplexa frågor om naturligt språk, (ii) använda konversation sammanhang för att lösa coreferenser och ellips i uttalanden, (iii) be om förtydliganden för tvetydiga frågor, och slutligen (iv) hämta relevanta underbilder av KG för att svara på sådana frågor. Våra experiment med en kombination av toppmodern dialog och QA-modeller visar dock att de uppenbarligen inte uppnår ovanstående mål och är otillräckliga för att hantera sådana komplexa verkliga världsinställningar. Vi anser att denna nya datauppsättning i kombination med de begränsningar av befintliga modeller som rapporteras i detta dokument bör uppmuntra till ytterligare forskning i komplex sekventiell kvalitetssäkring.
REF studerar problemet med sekventiellt svar på frågor och inför en datauppsättning för uppgiften.
Complex Sequential Question Answering: Towards Learning to Converse Over Linked Question Answer Pairs with a Knowledge Graph
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}