Sekvens till sekvensmodeller är framgångsrika verktyg för övervakade sekvensinlärning uppgifter, såsom maskinöversättning. Trots framgångarna kräver dessa modeller fortfarande mycket märkta data och det är oklart hur man kan förbättra dem genom att använda omärkta data, vilket är mycket billigare att få tag på. I detta dokument presenterar vi enkla förändringar som leder till en betydande förbättring av noggrannheten hos följande 2seq-modeller när den märkta uppsättningen är liten. Vår metod intialiserar kodaren och dekodern i följande 2seq-modell med de utbildade vikterna i två språkmodeller, och sedan finjusteras alla vikter tillsammans med märkta data. En ytterligare språkmodellering förlust kan användas för att regularisera modellen under finjustering. Vi tillämpar denna metod på låg-resurs uppgifter i maskinöversättning och abstrakt sammanfattning och finner att det avsevärt förbättrar de efterföljande övervakade modeller. Vår huvudsakliga slutsats är att förutbildningen påskyndar utbildningen och förbättrar generaliseringen av följande 2seq-modeller, vilket leder till toppmoderna resultat på WMT English→Tyska uppgiften. Vår modell får en förbättring på 1,3 BLEU från de tidigare bästa modellerna på både WMT'14 och WMT'15 engelska→tyska. Vår ablation studie visar att pretraining hjälper följande 2seq modeller på olika sätt beroende på arten av uppgiften: översättning drar nytta av den förbättrade generaliseringen medan summering drar nytta av den förbättrade optimeringen.
REF initierade både kodaren och dekodern som LMs.
Unsupervised Pretraining for Sequence to Sequence Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}