Vi använder ett stokastiskt svar nätverk (SAN) för att utforska flera steg inference strategier i naturligt språk inference. I stället för att direkt förutsäga resultaten med tanke på inputen upprätthåller modellen ett tillstånd och förfinar iterativt sina förutsägelser. Detta kan eventuellt leda till mer komplexa slutsatser än de befintliga metoderna i ett steg. Våra experiment visar att SAN uppnår toppmoderna resultat på fyra riktmärken: Stanford Natural Language Inference (SNLI), MultiGenre Natural Language Inference (MultiNLI), SciTail och Quora Question Pars datauppsättningar. Den naturliga språk inference uppgift, även känd som att erkänna textförståelse (RTE), är att dra slutsatsen förhållandet mellan ett par meningar (t.ex. premiss och hypotes). Denna uppgift är utmanande, eftersom det krävs en modell för att till fullo förstå meningens betydelse (dvs. lexik och kompositionssemantik). Till exempel illustrerar följande exempel från MultiNLI dataset (Williams et al., 2017) behovet av en form av multi-steg syntes av information mellan premisser: "Om du behöver denna bok, är det förmodligen för sent om du inte är på väg att ta en SAT eller GRE."och hypotes: "Det är aldrig för sent, om du inte är på väg att göra ett test." För att förutsäga det korrekta förhållandet mellan dessa två meningar måste modellen först dra slutsatsen att "SAT eller GRE" är ett "test", och sedan välja rätt samband, t.ex. motsägelse. Denna typ av iterativ process kan ses som en form av flerstegsinferens. Såvitt vi vet använder alla verk på NLI ett enda stegs slutledning. Inspirerad av de senaste framgångarna med flerstegsinferens på maskinläsförståelse (MRC) (Hill et al., 2016; Dhingra et al., 2016; Sordoni et al., 2016; Kumar et al., 2015; Shen et al., 2017; Xu et al., 2018), utforskar vi flerstegsinferens strategier på NII. I stället för att direkt förutsäga resultaten med tanke på inputen upprätthåller modellen ett tillstånd och förfinar iterativt sina förutsägelser. Vi visar att vår modell överträffar enstegsinferens och ytterligare uppnår toppmoderna datauppsättningar på SNLI, MultiNLI, SciTail och Quora Quora Question Pars. Den naturliga språk inference uppgift som definieras här innebär en premiss P = {p 0, p 1,..., p m-1 } av m ord och en hypotes H = {h 0, h 1,..., h n-1 } av n ord, och syftar till att hitta en logisk relation R mellan P och H, som är en av etiketter i en nära uppsättning: intrigering, neutral och motsägelse. Målet är att lära sig en modell f (P, H) → R. I en enda steg inference arkitektur, modellen direkt förutsäger R givet P och H som ingång. I vår multi-steg inference arkitektur, vi dessutom införliva en återkommande tillstånd s t ; modellprocesser flera passerar genom P och H, iterativt förfina staten s t, innan slutligen generera utdata i steg t = T, där T är en priori vald gräns för antalet inference steg. Figur 1 beskriver i detalj arkitekturen i det stokastiska svarsnätverk (SAN) som används i denna studie; denna modell är anpassad från MRC multistep inference litteratur. Jämfört med den ursprungliga SAN för MRC, i SAN för NLI vi förenklar de nedre skikten och Selfattention lager eftersom längden på premissen och hypotesen är kort). Vi ändrar också svarsmodulen från förutsägelse till textspann till en NDI-klassificeringsetikett. Totalt innehåller den fyra olika lager: 1) lexikonets kodningsskikt beräknar ordrepresentationer; 2) det sammanhangsberoende kodningsskiktet ändrar dessa representationer i sitt sammanhang; 3) minnesgenereringsskiktet samlar all information från premissen och hypotesen och bildar en arXiv:1804.0788v2 [cs.CL]
REF införde ett stokastiskt svarsnätverk (SAN) för flerstegsstrategier för NLI.
Stochastic Answer Networks for Natural Language Inference
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}