Vi presenterar två nya storskaliga dataset som syftar till att utvärdera system som utformats för att förstå en naturlig språkfråga och extrahera dess svar från en stor textkorpus. QUASAR-S datauppsättning består av 37000 kloze-stil (fill-in-the-gap) frågor konstruerade från definitioner av programenhet taggar på den populära webbplatsen Stack Overflow. Inläggen och kommentarerna på webbplatsen fungerar som bakgrunds corpus för att svara på kloze-frågorna. QUASAR-T-datasetet består av 43000 öppendomänfrågor och deras svar från olika internetkällor. ClueWeb09 (Callan et al., 2009) fungerar som bakgrunden corpus för att extrahera dessa svar. Vi ställer dessa dataset som en utmaning för två relaterade deluppgifter av faktaoid Fråga Svar: (1) söka efter relevanta textbitar som inkluderar rätt svar på en fråga, och (2) läsa den hämtade texten för att svara på frågan. Vi beskriver också ett hämtningssystem för utdrag av relevanta meningar och dokument från corpus givet en fråga, och inkluderar dessa i releasen för forskare som bara vill fokusera på (2). Vi utvärderar flera baslinjer på båda dataseten, allt från enkla heuristiker till kraftfulla neurala modeller, och visar att dessa släpar efter mänsklig prestanda med 16,4 % och 32,1 % för QUASAR-S respektive -T. Datauppsättningarna finns tillgängliga på https:// github.com/bdhingra/quasar.
REF presenterar en datauppsättning av kloze-stil frågor konstruerade från definitioner av programvaruenheter på Stack Overflow.
Quasar: Datasets for Question Answering by Search and Reading
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}