Prestandan hos Neural Machine Translation (NMT) modeller bygger i hög grad på tillgången till tillräckliga mängder parallella data, och ett effektivt och effektivt sätt att utnyttja de mycket tillgängliga mängder enspråkiga data har ännu inte hittats. Vi föreslår att dekodern ändras i en neural sekvens-till-sekvens modell för att möjliggöra multi-task lärande för två starkt relaterade uppgifter: målsidan språkmodellering och översättning. Dekodern förutspår nästa målord genom två kanaler, en målsidan språkmodell på det lägsta lagret, och en uppmärksamhet återkommande modell som är beroende av källan representation. Denna arkitektur möjliggör gemensam utbildning på både stora mängder enspråkiga och måttliga mängder tvåspråkiga data för att förbättra NMT prestanda. De första resultaten i nyhetsdomänen för tre språkpar visar måttliga men konsekventa förbättringar jämfört med en baslinje som endast är utbildad på tvåspråkiga data.
På samma sätt fokuserar Ref på att förbättra dekodern med enspråkiga uppgifter.
Using Target-side Monolingual Data for Neural Machine Translation through Multi-task Learning
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}