Sequence to sequency learning har nyligen dykt upp som ett nytt paradigm i övervakat lärande. Hittills har de flesta av dess tillämpningar fokuserat på bara en uppgift och inte mycket arbete utforskat denna ram för flera uppgifter. Detta dokument undersöker tre multi-task inlärning (MTL) inställningar för sekvens till sekvens modeller: a) en till-many inställning -där kodaren delas mellan flera uppgifter som maskinöversättning och syntaktisk tolkning, b) många-till-en inställning -användbar när endast dekoder kan delas, som i fallet med översättning och bildtextgenerering, och c) många-till-många inställning -där flera kodare och avkodare delas, vilket är fallet med oöverträffade mål och översättning. Våra resultat visar att utbildning på en liten mängd tolknings- och bildtextdata kan förbättra översättningskvaliteten mellan engelska och tyska med upp till 1,5 BLEU-poäng över starka basvärden för en enda uppgift på WMT-riktmärkena. Dessutom har vi etablerat ett nytt toppmodernt resultat i tolkningen med 93,0 F 1. Slutligen avslöjar vi intressanta egenskaper hos de två oövervakade inlärningsmålen, autoencoder och skip-thought, i MTL-sammanhanget: autoencoder hjälper mindre i termer av perplexitet men mer på BLEU poäng jämfört med skip-thought.
När det gäller sekvens till sekvensinlärning (Sutskever et al., 2014), utforskas allmänna ramverk för lärande med flera uppgifter av REF.
Multi-task Sequence to Sequence Learning
{'venue': 'ICLR 2016', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}