Multi-task lärande (MTL) har uppnått framgång över ett brett spektrum av problem, där målet är att förbättra utförandet av en primär uppgift med hjälp av en uppsättning relevanta extra uppgifter. Men när nyttan av hjälpuppgifterna w.r.t. Den primära uppgiften är inte känd a priori, framgången för MTL-modeller beror på det korrekta valet av dessa extra uppgifter och även en balanserad blandning förhållandet mellan dessa uppgifter under alternativ utbildning. Dessa två problem kan lösas genom manuell intuition eller hyperparameter tuning över alla kombinatoriska uppgift val, men detta introducerar induktiva fördomar eller är inte skalbar när antalet kandidat extra uppgifter är mycket stor. För att ta itu med dessa frågor presenterar vi AUTOSEM, en två-stegs MTL rörledning, där det första steget automatiskt väljer de mest användbara hjälpuppgifter via en Beta-Bernoulli multi-armad bandit med Thompson Provtagning, och det andra steget lär sig träningsblandning förhållandet mellan dessa utvalda hjälpuppgifter via en Gaussian Process baserad Bayesian optimering ram. Vi utför flera MTL-experiment på GLUE språkförståelse uppgifter, och visar att vårt AUTOSEM ramverk kan framgångsrikt hitta relevanta hjälpuppgifter och automatiskt lära sig deras blandningsförhållande, uppnå betydande prestanda ökar på flera primära uppgifter. Slutligen presenterar vi ablationer för varje steg i AUTOSEM och analyserar de inlärda extra uppgifterna val.
AUTOSEM REF föreslår en flerstegsstudieledning för lärande i två steg, där de mest användbara extra uppgifterna väljs ut i det första steget och där förhållandet mellan utbildningsblandning och de utvalda extra uppgifterna inlärs i det andra steget.
AutoSeM: Automatic Task Selection and Mixing in Multi-Task Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}