Enspråkig data har visat sig vara till hjälp för att förbättra översättningskvaliteten av både statistiska maskinöversättningssystem (SMT) och neurala maskinöversättningssystem (NMT), särskilt i resursfattiga eller domänanpassningsuppgifter där parallella data inte är tillräckligt rika. I detta dokument föreslår vi en ny strategi för att bättre utnyttja enspråkiga data för neural maskinöversättning genom att gemensamt lära sig käll-till-mål- och mål-till-källa NMT-modeller för ett språkpar med en gemensam EM optimeringsmetod. Utbildningsprocessen inleds med två inledande NMT-modeller som är förtränade på parallella data för varje riktning, och dessa två modeller uppdateras iterativt genom gradvis minskande översättningsförluster på träningsdata. I varje iteration steg, båda NMT modeller används först för att översätta enspråkiga data från ett språk till ett annat, bildar pseudo-utbildningsdata av den andra NMT modellen. Därefter lär man sig två nya NMT-modeller från parallella data tillsammans med pseudoträningsdata. Båda NMT-modellerna förväntas förbättras och bättre pseudoutbildningsdata kan genereras i nästa steg. Experimentella resultat på kinesiska-engelska och engelsk-tyska översättningsuppgifter visar att vårt tillvägagångssätt samtidigt kan förbättra översättningskvaliteten hos käll-till-mål- och mål-till-källa-modeller, vilket avsevärt överträffar starka baslinjesystem som förbättras med enspråkiga data för modellträning inklusive bakåtöversättning.
REF föreslog att man gemensamt skulle utbilda NMT-modellerna från källa till mål och mål till källa med pseudoparallella data från enspråkiga data.
Joint Training for Neural Machine Translation Models with Monolingual Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}