Trots den senaste tidens framgång med neural maskinöversättning (NMT) i standardriktmärken, bristen på stora parallella corpora utgör ett stort praktiskt problem för många språkpar. Flera förslag har lagts fram för att mildra denna fråga med till exempel triangulering och halvövervakade inlärningstekniker, men de kräver fortfarande en stark tvärspråkig signal. I detta arbete tar vi helt bort behovet av parallella data och föreslår en ny metod för att utbilda ett NMT-system på ett helt oövervakat sätt, beroende på ingenting annat än enspråkig corpora. Vår modell bygger på det senaste arbetet med oövervakade inbäddade kartläggningar, och består av en något modifierad uppmärksamhet encoder-dekoder modell som kan tränas på enspråkig corpora ensam med hjälp av en kombination av denoiserande och bakåtöversättning. Trots enkelheten i tillvägagångssättet, vårt system får 15.56 och 10.21 BLEU poäng i WMT 2014 Franska → Engelska och tyska → Engelsk översättning. Modellen kan också dra nytta av små parallella corpora, och uppnå 21.81 och 15.24 poäng i kombination med 100.000 parallella meningar, respektive. Vår strategi är ett genombrott i oövervakad NMT och öppnar spännande möjligheter för framtida forskning.
Artetxe m.fl. I REF föreslogs en ny metod för att utbilda ett NMT-system på ett oövervakat sätt och förlita sig på enspråkig korpora.
Unsupervised Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}