Tvåspråkig lexikoninduktion är uppgiften att framkalla ordöversättningar från enspråkig corpora på två språk. I den här artikeln presenterar vi den mest omfattande analysen av tvåspråkig lexikon induktion hittills. Vi presenterar experiment på ett brett spektrum av språk och datastorlekar. Vi undersöker översättning till engelska från 25 främmande språk: albanska, azeri, bengali, bosniska, bulgariska, Cebuano, Gujarati, hindi, ungerska, indonesiska, lettiska, nepali, rumänska, serbiska, slovakiska, somaliska, spanska, svenska, tamil, telugu, turkiska, ukrainska, uzbekiska, vietnamesiska och walesiska. Vi analyserar beteendet hos tvåspråkig lexikoninduktion på lågfrekventa ord, snarare än att testa enbart på högfrekventa ord, som tidigare forskning har gjort. Lågfrekventa ord är mer relevanta för statistisk maskinöversättning, där system normalt saknar översättningar av sällsynta ord som faller utanför deras träningsdata. Vi utforskar systematiskt ett brett spektrum av funktioner och fenomen som påverkar kvaliteten på de översättningar som upptäcks genom tvåspråkig lexikoninduktion. Vi ger illustrativa exempel på de högsta rankningsöversättningarna för ortogonala signaler av översättningslikvärdighet som kontextuell likhet och tidslikhet. Vi analyserar effekterna av frekvens och bristningar, och storleken på frö tvåspråkiga ordböcker och enspråkig träning corpora. Dessutom introducerar vi ett nytt discriminativt förhållningssätt till tvåspråkig lexikoninduktion. Vår diskriminerande modell är kapabel att kombinera ett brett utbud av funktioner som individuellt ger endast svaga indikationer på översättning ekvivalens. När funktionsvikter är discriminativt inställda producerar dessa signaler dramatiskt högre översättningskvalitet än tidigare metoder som kombinerade signaler på ett oövervakat sätt (t.ex. genom att använda minsta ömsesidiga rank). Vi jämför också direkt vår modells prestanda med ett sofistikerat generativt tillvägagångssätt, den matchande kanoniska korrelationsanalysalgoritmen (MCCA) som används av Haghixi et al. (2008)................................................................. Vår algoritm uppnår en noggrannhet på 42% jämfört med MCCA:s 15%.
BLI är uppgiften att framkalla ordöversättningar från enspråkig korpora på två språk REF.
A Comprehensive Analysis of Bilingual Lexicon Induction
{'venue': 'Computational Linguistics', 'journal': 'Computational Linguistics', 'mag_field_of_study': ['Computer Science']}