Den kodare-dekoder ram för neural maskinöversättning (NMT) har visat sig effektiv i stora datascenarier, men är mycket mindre effektiv för låg-resursspråk. Vi presenterar en överföringsutbildningsmetod som avsevärt förbättrar BLEU-poängen på en rad lågresursspråk. Vår nyckelidé är att först träna ett högresursspråkpar (föräldermodellen), sedan överföra några av de inlärda parametrarna till lågresursparet (barnmodellen) för att initiera och begränsa utbildningen. Med hjälp av vår överföringsutbildningsmetod förbättrar vi grundläggande NMT-modeller med i genomsnitt 5,6 BLEU på fyra lågresursspråkpar. En liknande och okänd ordersättning lägga till ytterligare 2 BLEU som ger NMT prestanda på låg-resurs maskinöversättning nära en stark syntaxbaserad maskinöversättning (SBMT) system, överträffar dess prestanda på ett språkpar. Med hjälp av modellen för överföringsutbildning för omskolning kan vi dessutom förbättra SBMT-systemet med ett genomsnitt på 1,3 BLEU, vilket förbättrar toppmoderna maskinöversättningar med låga resurser.
Luong and Manning (2015) ; Ref undersöker hur man kan förbättra överföringen lärande för en låg resurs språkpar genom finjustering endast delar av nätverket.
Transfer Learning for Low-Resource Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}