Natural Language Sentence Matching (NLSM) har fått stor uppmärksamhet från både akademiker och branschen, och rika offentliga datauppsättningar bidrar mycket till denna process. Men partiska dataset kan också skada generaliseringen prestanda utbildade modeller och ge opålitliga utvärderingsresultat. För många NLSM-datauppsättningar väljer leverantörerna några par meningar i datauppsättningarna, och detta provtagningsförfarande kan lätt ge oavsiktliga mönster, dvs. valförskjutningar. Ett exempel är QuoraQP-datasetet, där vissa innehållsoberoende naiva funktioner är orimligt prediktiva. Sådana egenskaper är återspeglingen av urvalet partiska och kallas "läcka funktioner". I detta dokument undersöker vi problemet med urvalsfördomar på sex NLSM-datauppsättningar och finner att fyra av dem är betydligt partiska. Vi föreslår vidare en utbildnings- och utvärderingsram för att mildra fördomarna. Experimentella resultat på QuoraQP tyder på att det föreslagna ramverket kan förbättra den allmänna förmågan hos utbildade modeller, och ge mer tillförlitliga utvärderingsresultat för verkliga adoptioner.
REF undersöker de urvalsfördomar som ingår i jämförelserelationerna i sex meningar om naturligt språk som matchar datauppsättningar och föreslår en fördomsfull utbildnings- och utvärderingsram.
Selection Bias Explorations and Debias Methods for Natural Language Sentence Matching Datasets
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}