Vid lärande med flera uppgifter löses flera uppgifter gemensamt, och man delar induktiva fördomar mellan dem. Att lära sig flera uppgifter är till sin natur ett multiobjektivt problem eftersom olika uppgifter kan stå i konflikt med varandra, vilket kräver en kompromiss. En gemensam kompromiss är att optimera ett proxymål som minimerar en viktad linjär kombination av pertaskförluster. Detta är dock endast giltigt när uppgifterna inte konkurrerar, vilket sällan är fallet. I detta dokument kastar vi uttryckligen lärande med flera uppgifter som multi-objektiv optimering, med det övergripande målet att hitta en Pareto optimal lösning. I detta syfte använder vi algoritmer utvecklade i den lutningsbaserade multiobjektiva optimeringslitteraturen. Dessa algoritmer är inte direkt tillämpliga på storskaliga inlärningsproblem eftersom de skalas dåligt med dimensionaliteten i gradienterna och antalet uppgifter. Vi föreslår därför en övre gräns för den multi-objektiva förlusten och visar att den kan optimeras effektivt. Vi bevisar vidare att optimera denna övre gräns ger en Pareto optimal lösning under realistiska antaganden. Vi tillämpar vår metod på en mängd olika djupinlärningsproblem med flera uppgifter, bland annat sifferklassificering, scenförståelse (gemensam semantisk segmentering, till exempel segmentering och djupuppskattning) och multimärkningsklassificering. Vår metod producerar mer högpresterande modeller än de senaste multi-task lärande formuleringar eller per-task utbildning.
Alternativt, Sener et al. REF formulerar lärande med flera uppgifter som ett multiobjektivt optimeringsproblem.
Multi-Task Learning as Multi-Objective Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}