För att tekniken för naturlig språkförståelse (NLU) ska vara maximalt användbar måste den kunna bearbeta språket på ett sätt som inte enbart är anpassat till en specifik uppgift, genre eller datauppsättning. I syfte att uppnå detta mål inför vi det allmänna riktmärket för språkförståelse (GLUE), en samling verktyg för att utvärdera och analysera prestanda hos modeller inom en rad olika befintliga NLU-uppgifter. Genom att inkludera uppgifter med begränsad utbildningsdata, GLUE är utformad för att gynna och uppmuntra modeller som delar allmän språkkunskap över uppgifter. GLUE innehåller också en handgjord diagnostisk testsvit som möjliggör detaljerad språklig analys av modeller. Vi utvärderar baslinjer baserade på aktuella metoder för överföring och representationsinlärning och finner att multi-task utbildning på alla våra uppgifter ger bättre resultat än utbildning en separat modell för varje uppgift. Den låga absoluta prestandan hos vår bästa modell visar dock på behovet av förbättrade allmänna NLU-system. - Min son. - Vad är det? Kommissionens genomförandeförordning (EU) nr 668/2014 av den 13 juni 2014 om tillämpningsföreskrifter för Europaparlamentets och rådets förordning (EU) nr 1151/2012 om kvalitetsordningar för jordbruksprodukter och livsmedel (EUT L 179, 19.6.2014, s. 1). En miljard ordriktmärke för mätning av framsteg inom statistisk språkmodellering. ArXiv preprint 1312.3005.
NLI ingår också i GLUE-riktmärket för utvärdering av allmän språkförståelse REF.
GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}