Överföring och lärande med flera uppgifter har traditionellt fokuserat på antingen ett enda källmålpar eller mycket få, liknande uppgifter. Helst skulle de språkliga nivåerna av morfologi, syntax och semantik gynna varandra genom att utbildas i en enda modell. Vi inför en gemensam modell för många uppgifter tillsammans med en strategi för att successivt öka dess djup för att lösa allt mer komplexa uppgifter. Högre skikt inkluderar genvägsanslutningar till lägre nivå uppgiftsförutsägelser för att spegla språkliga hierarkier. Vi använder en enkel legaliseringsterm för att optimera alla modellvikter för att förbättra en uppgifts förlust utan att uppvisa katastrofala störningar av de andra uppgifterna. Vår enda end-to-end-modell får toppmoderna eller konkurrenskraftiga resultat på fem olika uppgifter från märkning, tolkning, släktskap, och utförande uppgifter.
Søgaard och Goldberg (2016) utbildar en multi-task modell för POS-tagging, syntaktisk buckling och kombinatorisk kategorisk grammatiköverlappning, medan REF introducerar en gemensam multi-task modell tillsammans med en strategi för successivt växande sitt djup för att lösa allt mer komplexa uppgifter.
A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}