Storskaliga datauppsättningar för naturliga språkslutsatser skapas genom att man lägger fram en mening (premise), och ber dem att skapa tre nya meningar (hypoteser) som det innebär, motsäger, eller är logiskt neutralt med avseende på. Vi visar att i en betydande del av sådana data lämnar detta protokoll ledtrådar som gör det möjligt att identifiera etiketten genom att bara titta på hypotesen, utan att iaktta premissen. Specifikt visar vi att en enkel text kategorisering modell kan korrekt klassificera hypotesen ensam i cirka 67% av SNLI (Bowman et al., 2015) och 53% av MultiNLI (Williams et al., 2018). Vår analys visar att specifika språkliga fenomen som negation och vaghet i hög grad korrelerar med vissa inferensklasser. Våra resultat tyder på att framgången för naturliga språk inference modeller hittills har överskattats, och att uppgiften fortfarande är ett svårt öppet problem.
På samma sätt föreslog REF att man för uppgiften naturligt språk skulle dölja premissen och utvärdera en modell med hjälp av endast hypotesen.
Annotation Artifacts in Natural Language Inference Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}