Vi skapar en ny NLI testuppsättning som visar bristen på toppmoderna modeller i slutsatser som kräver lexikal och världskunskap. De nya exemplen är enklare än SNLI-testet, som innehåller meningar som skiljer sig åt med högst ett ord från meningarna i träningssetet. Ändå är prestandan på den nya testuppsättningen betydligt sämre i system som är utbildade på SNLI, vilket visar att dessa system är begränsade i sin generaliseringsförmåga, underlåter att fånga många enkla slutsatser.
I liknande anda skapar REF ett NLI-test som specifikt visar bristerna i toppmoderna modeller i slutsatser som kräver lexikal kunskap och världskunskap.
Breaking NLI Systems with Sentences that Require Simple Lexical Inferences
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}