Även om de flesta tillvägagångssätt för att automatiskt känna igen samband har använt klassificerare som använder handgjorda funktioner som härrör från komplexa naturligt språk bearbetning pipelines, i praktiken har deras prestanda bara varit något bättre än påse-of-word par klassificerare med endast lexical likhet. Det enda försöket hittills att bygga en end-to-end differentiable neurala nätverk för implementation misslyckades med att överträffa en sådan enkel likhet klassificerare. I det här dokumentet föreslår vi en neural modell som avläser två meningar för att bestämma påföljd med hjälp av långtidsminnesenheter. Vi utökar denna modell med en ord för ord neural uppmärksamhet mekanism som uppmuntrar resonemang över inslag av par av ord och fraser. Dessutom lägger vi fram en kvalitativ analys av de uppmärksamhetsvikter som denna modell ger upphov till, vilket visar på en sådan resonemangsförmåga. På ett stort behov dataset denna modell överträffar den tidigare bästa neurala modellen och en klassificerare med konstruerade funktioner med en betydande marginal. Det är det första generiska differentierbara systemet från end-to-end som uppnår den senaste noggrannheten på en textbaserad uppsättning uppgifter.
Ett erkännande av textingrepp mellan två meningar togs också upp i REF som använde LSTM:er och en neural uppmärksamhetsmekanism ord för ord på SNLI:s corpus.
Reasoning about Entailment with Neural Attention
{'venue': 'ICLR 2016', 'journal': 'arXiv: Computation and Language', 'mag_field_of_study': ['Computer Science']}