Extractive läsförståelse system kan ofta lokalisera rätt svar på en fråga i ett sammanhang dokument, men de tenderar också att göra opålitliga gissningar om frågor för vilka det korrekta svaret inte anges i sammanhanget. Befintliga datauppsättningar fokuserar antingen uteslutande på svarbara frågor, eller använder automatiskt genererade obesvarbara frågor som är lätta att identifiera. För att ta itu med dessa svagheter presenterar vi SQuAD 2.0, den senaste versionen av Stanford Question Svar Dataset (SQuAD). SQuAD 2.0 kombinerar befintliga SQuAD-data med över 50.000 obesvarbara frågor skrivna motsträvigt av crowdworkers för att se liknande ut som svarbara. För att göra bra ifrån sig på SQuAD 2.0 måste systemen inte bara svara på frågor när det är möjligt, utan också avgöra när inget svar stöds av stycket och avstå från att svara. SQuAD 2.0 är en utmanande naturlig språkförståelse uppgift för befintliga modeller: ett starkt neuralt system som får 86% F1 på SQuAD 1.1 uppnår endast 66% F1 på SQuAD 2.0.
SQuAD 2.0 dataset REF utökar SQuAD med mer än 50 000 crowdsourced obesvarbara frågor.
Know What You Don't Know: Unanswerable Questions for SQuAD
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}