Ett stort antal datauppsättningar för läsförståelse (RC) har skapats nyligen, men det har inte gjorts någon större analys av huruvida de generaliserar för varandra och i vilken utsträckning befintliga datauppsättningar kan utnyttjas för att förbättra prestandan för nya. I detta dokument genomför vi en sådan undersökning över tio RC dataset, utbildning på en eller flera källor RC dataset, och utvärdera generalisering, samt överföring till en mål RC dataset. Vi analyserar de faktorer som bidrar till generalisering, och visar att utbildning på en källa RC dataset och överföring till ett mål dataset avsevärt förbättrar prestanda, även i närvaro av kraftfulla kontextuella representationer från BERT (Devlin et al., 2019). Vi finner också att utbildning på flera källor RC dataset leder till robust generalisering och överföring, och kan minska kostnaden för exempel insamling för en ny RC dataset. Efter vår analys föreslår vi MULTIQA, en BERT-baserad modell, tränad på flera RC-datauppsättningar, vilket leder till toppmodern prestanda på fem RC-datauppsättningar. Vi delar vår infrastruktur till förmån för forskarsamhället.
MULTIQA REF undersöker över tio RC dataset, utbildning på en eller flera källor RC dataset, och utvärdera generalisering, samt överföring till en mål RC dataset.
MultiQA: An Empirical Investigation of Generalization and Transfer in Reading Comprehension
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}