Neuralbaserat lärande med flera uppgifter har framgångsrikt använts i många storskaliga tillämpningar i verkligheten, t.ex. rekommendationssystem. Till exempel, i film rekommendationer, utöver att ge användare filmer som de tenderar att köpa och titta på, systemet kan också optimera för användare som gillar filmer efteråt. Med multi-task lärande syftar vi till att bygga en enda modell som lär sig dessa flera mål och uppgifter samtidigt. Emellertid är förutsägelsekvaliteten hos vanliga multi-task modeller ofta känslig för sambanden mellan uppgifter. Det är därför viktigt att studera modellering av handel mellan uppgiftsspeci c-mål och inter-task-relationer. I detta arbete föreslår vi en ny multi-task lärande strategi, Multi-gate Blandning-of-Experts (MMoE), som uttryckligen lär sig att modellera arbetsrelationer från data. Vi anpassar strukturen Mixing-ofExperts (MoE) till lärande med flera uppgifter genom att dela med oss av expertundermodellerna över alla uppgifter, samtidigt som vi även har ett nätverk som utbildas för att optimera varje uppgift. För att validera vårt tillvägagångssätt för data med olika nivåer av uppgiftsrelateradhet, använder vi det för ett syntetiskt dataset där vi kontrollerar uppgiftssambandet. Vi visar att det föreslagna tillvägagångssättet fungerar bättre än referensmetoder när uppgifterna är mindre relaterade. Vi visar också att MMoE-strukturen resulterar i en extra traineability bene t, beroende på olika nivåer av slumpmässighet i träningsdata och modell initialisering. Dessutom visar vi prestandaförbättringar av MMoE på verkliga uppgifter inklusive en binär classi katjon riktmärke, och ett storskaligt innehåll rekommendationssystem på Google.
Ma et al............................................................... Föreslå multi-task lärande metod som heter Multi-gate Blandning-of-Experts för att uttryckligen lära uppgiftsförhållandet från data REF.
Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
{'venue': None, 'journal': 'Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining', 'mag_field_of_study': ['Computer Science']}