Vi introducerar BilBOWA ("Bilingual Bag-of-Words without Alignments"), en enkel och beräkningseffektiv modell för att lära sig tvåspråkiga distribuerade framställningar av ord som kan skalas till stora datauppsättningar och inte kräver ordjämnade träningsdata. Istället tränar den direkt på enspråkig data och tar ut en tvåspråkig signal från en mindre uppsättning rå text meningsjusterade data. Detta uppnås med hjälp av en ny prov påse-of-words tvärspråkligt mål, som används för att regularisera två bullerkontrastiva språkmodeller för effektiv gränsöverskridande funktionsinlärning. Vi visar att tvåspråkiga inbäddningar inlärda med hjälp av den föreslagna modellen överträffar toppmoderna metoder på en tvärspråkig dokumentklassificering uppgift samt en lexisk översättning uppgift på WMT11 data. Vår kod kommer att göras tillgänglig som en del av open-source word2vek verktygslåda.
Gouws m.fl. föreslog en enkel och beräkningseffektiv modell kallad BioBOWA (Biolingual Bag-of-Words without Alignments) för att lära sig tvåspråkiga distribuerade framställningar av ord som kan skalas till stora enspråkiga dataset, och inte kräver ordjusterade parallella träningsdata REF.
BilBOWA: Fast Bilingual Distributed Representations without Word Alignments
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}