Uppgiften Nature language inference (NLI) är en prediktiv uppgift för att fastställa slutledningsförhållandet för ett par naturliga språk meningar. Med den ökande populariteten för NLI har många toppmoderna prediktiva modeller föreslagits med imponerande prestationer. Flera arbeten har dock lagt märke till de statistiska oegentligheterna i de insamlade uppgifterna från NLI som kan leda till överskattade resultat för dessa modeller och föreslagna korrigerande åtgärder. I detta dokument undersöker vi ytterligare de statistiska oegentligheterna, det vi kallar förvirrande faktorer, i datauppsättningarna för NLI. Med övertygelsen att vissa NLI-etiketter bör bevaras vid swaping, föreslår vi ett enkelt men effektivt sätt (swaping de två textfragmenten) att utvärdera de prediktiva modellerna för NLI som naturligt lindrar de observerade problemen. Vidare fortsätter vi att träna de prediktiva modellerna med vårt växlingssätt och föreslår att man använder avvikelsen i modellens utvärderingsresultat under olika procentandelar av utbildningstextfragment som ska bytas för att beskriva robustheten hos en prediktiv modell. Våra utvärderingsmått leder till några intressanta förståelser av nyligen publicerade NLI-metoder. Slutligen tillämpar vi också swapingoperationen på NLI-modeller för att se hur effektiv denna enkla metod är när det gäller att lindra de försvårande faktorproblemen vid utbildning av generiska meningsinlägg för andra NLP-överföringsuppgifter. Uppgiften Natural Language Inference (NLI) är att testa förmågan hos en beräkningsmodell att förstå det naturliga språket genom att utvärdera en trevägsklassificering för två fragment av naturliga texter (Bowman et al. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. De två fragmenten, nämligen premissen (P) och hypotesen (H), är märkta i tre olika kategorier (dvs. Förutsättningar (E), neutrala (N) och motsägelser (C) på grundval av deras förförelseförhållande. Mer specifikt kan vi ha: • E: H är definitivt sant givet P • C: H är definitivt inte sant givet P • N: H kan eller kan inte vara sant ges P Formellt, kunde vi skriva om det naturliga språk som beskrivs språkliga förhållningssätt relation till proposition logik som följande: Att visas på Association for the Advancement of Artificial Intelligence (AAAI) 2019. där → står för implicit, ¬ står för negation, och vi använder  för att beteckna att det inte finns någon tydlig relation mellan P och H. Den väsentliga delen av detta papper ligger i det faktum att för två förslag A och B, vi har: I enklare ord, byta A och B kommer att behålla → ¬ relation och  på förhållandet, men inte → relation. Därför kan vi helt enkelt utvärdera en prediktiv modell för NLI genom att byta premissen och hypotesen i testdatauppsättningen med argumentet: Om en modell verkligen kan förutsäga inferensförhållandet mellan par av textfragment, bör den rapportera jämförbar noggrannhet mellan den ursprungliga testuppsättningen och swappade testuppsättningen för motsägelsepar och neutrala par, och lägre noggrannhet i swappade testuppsättningar för indicier par. Om vi inte observerar en sådan exakthet mönster, är det mycket troligt att den utvärderade NLI prediktiva modellen är diskutabelt trots dess imponerande prestanda. Man kan hävda att etiketten inte nödvändigtvis behöver bevaras för neutrala par efter byte, förklarar vi i diskussionsavsnittet senare. Detta arbete är inspirerat av flera nyligen utförda arbeten som har observerat de statistiska oegentligheterna i konstruerade datamängder från NMI. Till exempel Gururangan et al. (2018) Det märktes att under datakonstruktionsfasen skapar arbetarna en heurism för att skapa hypoteser med minimal risk för att vara fel, vilket leder till att det finns olika distributioner av ord för olika etiketter, och en kraftfull modell kan lätt kringgå den semantiska informationen i texterna och förutsäga etiketten med rimlig noggrannhet. Det liknande fenomenet har observerats av Poliak et al. (2018), som märkte att en modell kunde sluta sig till NLI-märkningen med endast hypoteser, och föreslog en hypotes endast baslinje. Nyligen, Naik et al. (2018) lade också märke till att maskininlärningsmodellerna kan utnyttja idiosynkrasierna i konstruktionen av datauppsättningen för att förutsäga NDI-etiketter och föreslog ett "stresstest" för att utvärdera om modellerna kan göra semantiska-nivåslutsatser. I allt detta tidigare arbete har man diskuterat de inneboende begränsningarna i de nuvarande NLI-uppgifterna och de föreslagna lösningarna såsom mer omfattande utvärderingskriterier (Naik m.fl. 2018), vägledning i framtida konstruktioner av datamängder (Gururangan et al. 2018), eller mer kraftfulla metoder som att använda propositionslogiken relation för att legalisera neurala nätverk för att ignorera statistiska oegentligheter av ord och förutsäga genom semantisk-nivå information (Minervini och Riedel 2018). Även om detta dokument instämmer i behovet av dessa noggrant utformade åtgärder, vill vi uppmärksamma gemenskapen på en enkel, lättgenomförbar, men ändå meningsfull lösning: att byta de två textfragmenten. Vårt bidrag i denna artikel kan sammanfattas i tre delar: • Genom att känna igen de falska signalerna mellan meningarnas semantiska och ordordens fördelning av hypoteser som skapats genom en förvirrande faktor för ordval, introducerar vi ett enkelt och effektivt sätt att bryta ett sådant beroende: att byta de två textfragmenten. Vi tillämpar bytesvärderingsmåttet på flera nya NDI-modeller och märker att vissa metoder verkar förutsäga baserat på lokala statistiska mönster, i motsats till semantisk nivå förståelse. • Inspirerad av bytesvärderingsmåttet föreslår vi att vi utbildar NLI-modellerna med en sekvens av olika träningsdataset som definieras av andelen meningspar som byts i träningssetet. Vi undersöker "minskningen" av prestandan hos den modell som tränas av dessa datamängder som utvärderas med hjälp av mer kraftfulla mätvärden. Vi föreslår att "avvikelsen" ska vara ett bra mått på robustheten hos modellerna för att förvirra signalerna. • Vi undersöker vidare hur utbytesträningen bidrar till att lindra problemet med försvårande faktorer under NLI-utbildningen genom att tillämpa det utbildade straffet inbäddade i andra NLP-överföringsuppgifter. Resten av tidningen är organiserad enligt följande. Vi presenterar först bakgrunden till detta dokument, där vi förklarar varför det är nödvändigt att byta de två textfragmenten, snarare än bara ett slumpmässigt trick som vi antar, och vi förklarar också begreppet förvirrande faktorer i samband med NLI. Sedan introducerar vi swaputvärderingen och resultaten, som ytterligare avslöjar några mekanismer i de utvärderade modellerna. Vidare fortsätter vi att testa robustheten hos modellerna för att förvirra signalerna. Därefter testar vi om utbytesutbildningen i NLI kommer att leda till mer meningsfulla meningsinbäddningar som hjälper till i andra NLP överföringsuppgifter. Slutligen avslutar vi dokumentet med en kort diskussion om det relaterade arbetet.
REF undersöker vidare modellernas robusthet mot det sneda mönstret med hjälp av swaping-operationer.
What If We Simply Swap the Two Text Fragments? A Straightforward yet Effective Way to Test the Robustness of Methods to Confounding Signals in Nature Language Inference Tasks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}