I detta dokument föreslår vi att den nyligen införda modellen-agnostic meta-learning algoritm (MAML, Finn et al., 2017) för lågresurs neural maskinöversättning (NMT). Vi beskriver översättning med låga resurser som ett metalearning-problem, och vi lär oss att anpassa oss till språk med låga resurser baserat på flerspråkiga språkuppgifter med höga resurser. Vi använder den universella lexical representation (Gu et al., 2018b) för att övervinna input-output missmatchning mellan olika språk. Vi utvärderar den föreslagna metalärande strategin med hjälp av arton europeiska språk (Bg, Cs, Da, De, El, Es, Et, Fr, Hu, It, Lt, Nl, Pl, Pt, Sk, Sl, Sv och Ru) som källuppgifter och fem olika språk (Ro, Lv, Fi, Tr och Ko) som måluppgifter. Vi visar att det föreslagna tillvägagångssättet avsevärt överträffar det flerspråkiga, överföringsbaserade tillvägagångssättet (Zoph et al., 2016) och gör det möjligt för oss att träna ett konkurrenskraftigt NMT-system med endast en bråkdel av utbildningsexempel. Till exempel kan det föreslagna tillvägagångssättet uppnå så högt som 22.04 BLEU på rumänska-engelska WMT'16 genom att endast se 16.000 översatta ord (-600 parallella meningar).
Första ordningens MAML har tillämpats på uppgiften maskinöversättning REF, där de föreslår att använda meta-learning för att förbättra maskinöversättning prestanda för låg resurs språk genom att lära sig att anpassa sig till målspråk baserat på flerspråkiga hög resurs språk.
Meta-Learning for Low-Resource Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}