Djupt lärande ger goda resultat inom många områden, från taligenkänning, bildklassificering till översättning. Men för varje problem, att få en djup modell att fungera väl innebär forskning om arkitekturen och en lång period av stämning. Vi presenterar en enda modell som ger goda resultat på ett antal problem som spänner över flera domäner. I synnerhet är denna enda modell tränas samtidigt på ImageNet, flera översättningsuppgifter, bildtextning (COCO dataset), en taligenkänning corpus, och en engelsk tolkning uppgift. Vår modellarkitektur innehåller byggstenar från flera domäner. Den innehåller konvolutionella skikt, en uppmärksamhetsmekanism och glesa skikt. Var och en av dessa beräkningsblock är avgörande för en delmängd av de uppgifter vi tränar på. Intressant, även om ett block inte är avgörande för en uppgift, Vi observerar att lägga till det aldrig skadar prestanda och i de flesta fall förbättrar det på alla uppgifter. Vi visar också att uppgifter med mindre data till stor del drar nytta av gemensam utbildning med andra uppgifter, medan prestanda på stora uppgifter försämrar endast något om alls.
Dokument REF presenterade en enda modell som ger goda resultat på ett antal problem som spänner över flera områden, som innehåller konvolutionella skikt, en uppmärksamhetsmekanism och glesa skikt.
One Model To Learn Them All
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}