Överföring lärande mellan olika språkpar har visat sin effektivitet för Neural Machine Translation (NMT) i låg resursscenario. Befintliga överföringsmetoder som inbegriper ett gemensamt målspråk är dock långt ifrån framgångsrika i det extrema scenariot med noll-shot-översättning, på grund av problemet med språkutrymmesobalans mellan överförande eller (föräldermodellen) och övertagande (barnmodellen) på källsidan. För att ta itu med denna utmaning föreslår vi en effektiv metod för överföring av lärande som bygger på flerspråkig förutbildning. Vår nyckelidé är att få alla källspråk att dela samma funktionsutrymme och därmed möjliggöra en smidig övergång för noll-shot översättning. I detta syfte inför vi en enspråkig förutbildningsmetod och två tvåspråkiga förutbildningsmetoder för att erhålla en universell kodare för olika språk. När den universella kodaren har konstruerats tränas modermodellen som bygger på en sådan kodare med storskaliga annoterade data och tillämpas sedan direkt i noll-shot-översättningsscenariot. Experiment på två offentliga dataset visar att vår strategi avsevärt överträffar starka pivotbaserade baslinjer och olika flerspråkiga NMT-strategier.
I REF föreslogs en effektiv flerspråkig förutbildningsmetod som kallas BRLM och som använder källdata för att förbereda språkmodellen.
Cross-lingual Pre-training Based Transfer for Zero-shot Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}