Utan verkliga tvåspråkiga corpus tillgängliga, oövervakade Neural Machine Translation (NMT) kräver normalt pseudo parallella data som genereras med back-translation metoden för modellträning. På grund av svag övervakning innehåller pseudodata oundvikligen ljud och fel som kommer att ackumuleras och förstärkas i den efterföljande utbildningsprocessen, vilket leder till dålig översättningsprestanda. För att ta itu med detta problem, introducerar vi frasbaserade Statistic Machine Translation (SMT) modeller som är robusta till bullriga data, som bakre legaliseringar för att styra utbildningen av oövervakade NMT modeller i den iterativa back-translation processen. Vår metod utgår från SMT-modeller byggda med förtränade språkmodeller och översättningstabeller på ordnivå som kan härledas från flerspråkiga inbäddningar. Sedan optimeras SMT- och NMT-modellerna gemensamt och ökar varandra stegvis i ett enhetligt EM-ramverk. På så sätt kan 1) de negativa effekter som orsakas av fel i den iterativa back-translationsprocessen lindras i rätt tid genom SMT-filtreringsljud från dess meningstabeller; under tiden, (2) NMT kan kompensera för den brist på fluens som är inneboende i SMT. Experiment som utförs på en-fr och en-de översättning uppgifter visar att vår metod överträffar den starka baslinje och uppnår nya state-of-the-art oövervakad maskinöversättning prestanda.
Bygg också ett hybridsystem genom att kombinera de bästa pseudodata som SMT-modeller genererar i utbildningen av NMT-modellen medan REF alternativt träna SMT- och NMT-modeller med ramen för bakre legalisering.
Unsupervised Neural Machine Translation with SMT as Posterior Regularization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}