Djup inlärning har förbättrat prestandan på många naturliga språkbearbetning (NLP) uppgifter individuellt. Allmänna NLP-modeller kan dock inte utvecklas inom ett paradigm som fokuserar på särdragen hos en enda mätmetod, datauppsättning och uppgift. Vi introducerar Natural Language Decathlon (decaNLP), en utmaning som spänner över tio uppgifter: frågesvar, maskinöversättning, sammanfattning, naturlig språkinferens, känsloanalys, semantisk rollmärkning, relationsextraktion, målinriktad dialog, semantisk tolkning och allmängiltig pronomen resolution. Vi kastar alla uppgifter som frågesvar över ett sammanhang. Dessutom presenterar vi ett nytt multitask question responding network (MQAN) som tillsammans lär sig alla uppgifter i decaNLP utan några aktivitetsspecifika moduler eller parametrar. MQAN visar förbättringar i överföring lärande för maskinöversättning och namngivna enhet erkännande, domänanpassning för känsloanalys och naturlig språk inference, och noll-shot kapacitet för textklassificering. Vi visar att MQAN:s multi-pointer-generator-dekoder är nyckeln till denna framgång och att prestandan förbättras ytterligare med en anti-curriculum utbildningsstrategi. Även utformad för decaNLP, MQAN också uppnå toppmoderna resultat på WikiSQL semantic parsing uppgift i en-task inställning. Vi släpper också kod för anskaffning och behandling av data, utbildning och utvärdering av modeller, och reproducerar alla experiment för decaNLP.
McCann m.fl. REF innebär tio uppgifter i naturligt språk (NLP) som svar på frågor.
The Natural Language Decathlon: Multitask Learning as Question Answering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}