I denna uppsats studerar vi ja / inga frågor som förekommer naturligt - vilket innebär att de genereras i outtröttliga och oöverskådliga inställningar. Vi bygger en läsförståelse dataset, BoolQ, av sådana frågor, och visar att de är oväntat utmanande. De frågar ofta efter komplex, icke-faktoid information, och kräver svåra indement-liknande slutsats att lösa. Vi undersöker också effektiviteten hos en rad baslinjer för överföring av lärande. Vi tycker att det är effektivare att överföra från induceringsdata än att överföra från parafraser eller extraherande QA-data, och att det överraskande nog fortsätter att vara mycket fördelaktigt även när man utgår från massiva pre-utbildade språkmodeller som BERT. Vår bästa metod tränar BERT på MultiNLI och tränar sedan om det på vårt tågsätt. Den uppnår 80,4 % noggrannhet jämfört med 90 % noggrannhet hos de mänskliga notatorerna (och 62 % majoritetsbaslinje), vilket lämnar en betydande lucka för framtida arbete.
BoolQ REF fokuserar specifikt på naturligt förekommande ja/nej-frågor, och dessa frågor visar sig vara förvånansvärt svåra att besvara.
BoolQ: Exploring the Surprising Difficulty of Natural Yes/No Questions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}