Vi föreslår en ny multi-task lärande arkitektur, som gör det möjligt att lära sig av uppgiftsspecifika funktions-nivå uppmärksamhet. Vår design, Multi-Task Attention Network (MTAN), består av ett enda gemensamt nätverk som innehåller en global funktionspool, tillsammans med en soft-attention modul för varje uppgift. Dessa moduler gör det möjligt att lära sig specifika funktioner från de globala funktionerna, samtidigt som de gör det möjligt att dela funktioner mellan olika uppgifter. Arkitekturen kan tränas end-to-end och kan byggas på alla feed-forward neurala nätverk, är enkel att genomföra, och är parameter effektiv. Vi utvärderar vår strategi på en mängd olika datauppsättningar, både bild-till-bild-prognoser och bildklassificeringsuppgifter. Vi visar att vår arkitektur är toppmodern inom lärande med flera uppgifter jämfört med befintliga metoder, och är också mindre känslig för olika viktningssystem i multi-task förlustfunktion. Koden finns på https://github.com/ lorenmt/mtan.
I REF införs uppmärksamhetsmoduler som gör det möjligt för uppgiftsspecifika nätverk att lära sig vilka funktioner från det delade funktionsnätverket som ska användas på olika lager.
End-To-End Multi-Task Learning With Attention
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}