Medan neural maskinöversättning (NMT) gör goda framsteg under de senaste två åren, tiotals miljoner tvåspråkiga mening par behövs för sin utbildning. Men mänsklig märkning är mycket kostsam. För att ta itu med denna flaskhals av utbildningsdata utvecklar vi en mekanism för dubbelt lärande, som kan göra det möjligt för ett NMT-system att automatiskt lära sig av omärkta data genom ett dubbellärande spel. Denna mekanism är inspirerad av följande observation: varje maskinöversättning uppgift har en dubbel uppgift, t.ex., engelsk-till-franska översättning (primal) kontra fransk-till-engelska översättning (dubbel); den primära och dubbla uppgifter kan bilda en sluten loop, och generera informativa återkopplingssignaler för att träna översättningsmodellerna, även om utan inblandning av en mänsklig etikett. I dual-learning-mekanismen använder vi en agent för att representera modellen för den primära uppgiften och den andra agenten för att representera modellen för den dubbla uppgiften och sedan be dem att lära varandra genom en förstärkning av inlärningsprocessen. Baserat på de återkopplingssignaler som genereras under denna process (t.ex. språkmodellens sannolikhet för en modells utgång, och rekonstruktionsfelet i den ursprungliga meningen efter de ursprungliga och dubbla översättningarna), kan vi iterativt uppdatera de två modellerna fram till konvergens (t.ex. genom att använda policygradientmetoderna). Vi kallar motsvarande metod för neural maskinöversättning dual-NMT. Experiment visar att dubbel-NMT fungerar mycket bra på engelsk-franska översättning; särskilt, genom att lära från enspråkig data (med 10% tvåspråkig data för varm start), det uppnår en jämförbar noggrannhet till NMT utbildade från den fullständiga tvåspråkiga data för den franska-till-engelska översättningen uppgift.
Dual learning Dual learning ram föreslås först för att förbättra neural maskinöversättning (NMT) REF.
Dual Learning for Machine Translation
{'venue': 'NIPS 2016', 'journal': None, 'mag_field_of_study': ['Computer Science']}