Neural Machine Translation (NMT) har uppnått toppmodern prestanda för flera språkpar, medan endast med hjälp av parallella data för utbildning. Målsidan enspråkig data spelar en viktig roll för att öka fluens för frasbaserad statistisk maskinöversättning, och vi undersöker användningen av enspråkig data för NMT. I motsats till tidigare arbete, som kombinerar NMT-modeller med separat utbildade språkmodeller, noterar vi att kodare-dekoder NMT-arkitekturer redan har kapacitet att lära sig samma information som en språkmodell, och vi utforskar strategier för att träna med enspråkig data utan att ändra neurala nätverk arkitektur. Genom att koppla ihop enspråkiga utbildningsdata med en automatisk bakåtöversättning kan vi behandla det som ytterligare parallella utbildningsdata, och vi får betydande förbättringar på WMT 15 uppgiften engelskaÖsterrike (+2.8-3,7 BLEU), och för den lågupplösta IWSLT 14 uppgift turkiska→engelska (+2.1-3.4 BLEU), få nya state-of-the-art resultat. Vi visar också att finjustering av in-domänen enspråkig och parallell data ger betydande förbättringar för IWSLT 15 uppgift engelska→tyska.
På senare tid har Ref visat betydande förbättringar genom att bakåtöversätta enspråkiga data på målsidan och använda sådana syntetiska data som ytterligare parallella utbildningsdata.
Improving Neural Machine Translation Models with Monolingual Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}