Toppmoderna metoder för att lära sig flerspråkiga ordinslag har förlitat sig på tvåspråkiga ordböcker eller parallellkorpora. Nyligen utförda arbeten visade att behovet av parallell dataövervakning kan lindras med information på teckennivå. Även om dessa metoder visade uppmuntrande resultat, är de inte i nivå med sina övervakade motsvarigheter och är begränsade till par av språk som delar ett gemensamt alfabet. I detta arbete visar vi att vi kan bygga en tvåspråkig ordbok mellan två språk utan att använda någon parallell corpora, genom att anpassa enspråkiga ord inbäddning utrymmen på ett oövervakat sätt. Utan att använda någon karaktärsinformation överträffar vår modell till och med befintliga övervakade metoder för tvärspråkiga uppgifter för vissa språkpar. Våra experiment visar att vår metod fungerar mycket bra även för avlägsna språkpar, som engelsk-ryska eller engelsk-kinesiska. Vi visar slutligen att vår metod är ett första steg mot helt oövervakad maskinöversättning och beskriver experiment på det engelsk-esperanto språkparet, där det bara finns en begränsad mängd parallella data. Nyligen genomförda försök att minska behovet av tvåspråkig övervakning (Smith et al., 2017) använder identiska teckensträngar för att bilda ett parallellt ordförråd. Den iterativa metoden för Artetxe et al. (2017) gradvis justerar inbäddade utrymmen, med början från en parallell vokabulär av inpassade siffror. Dessa metoder är dock begränsade till liknande språk som har ett gemensamt alfabet, t.ex. europeiska språk. Fortsätter, Cao et al. (2016) utföra moment matchning och Zhang et al. (2017) Anta kontradiktorisk utbildning för att erhålla flerspråkiga inbäddade ord utan parallella data. Även om dessa tillvägagångssätt låter tilltalande, är deras prestanda betydligt lägre än övervakade metoder. För att sammanfatta, nuvarande * Lika bidrag. Ordningen har bestämts med en myntflip.
REF utnyttjar kontradiktorisk utbildning för att lära sig en linjär kartläggning från en källa till ett målutrymme utan att använda parallella data.
Word Translation Without Parallel Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}