Tvåspråkig ordjustering utgör grunden för det pågående arbetet med statistisk maskinöversättning. Standard wordalignment metoder innebär användning av probabilistiska generativa modeller som är komplexa att genomföra och långsamma att träna. I detta dokument visar vi att det är möjligt att närma sig justeringsnoggrannheten hos standardmodellerna med hjälp av algoritmer som är mycket snabbare, och på vissa sätt enklare, baserat på grundläggande word-association statistik. Tvåspråkig ordjustering är det första steget i de flesta nuvarande metoder för statistisk maskinöversättning. Även om de bästa systemen är "frasbaserade" (se t.ex. Och och Ney (2004) eller Koehn et al. (2003) ), måste möjliga frasöversättningar först extraheras från ordanknutna tvåspråkiga textsegment. Standardmetoden för ordanpassning använder sig av fem översättningsmodeller som definieras av Brown et al. (1993), ibland förstärkt av en HMM-baserad modell eller Och och Neys "Modell 6" (och och Ney, 2003). Den bästa av dessa modeller kan producera hög noggrannhet justeringar, åtminstone när tränas på en stor parallell corpus av ganska direkta översättningar i nära relaterade språk. Det finns dock ett antal sätt på vilka dessa standardmodeller är mindre än idealiska. De högre noggrannhetsmodellerna är matematiskt komplexa och svåra att träna, eftersom de inte spelar in på ett sätt som möjliggör en dynamisk programmeringslösning. Det kan därför ta många timmar av bearbetningstid på nuvarande standarddatorer att träna modellerna och producera en anpassning av en stor parallell corpus. I detta dokument har vi ett annat synsätt på ordanpassning, baserat på användningen av tvåspråkig ordasociationsstatistik snarare än den generativa probabilistiska ram som IBM- och HMM-modellerna använder. I slutändan får vi anpassningsalgoritmer som är mycket snabbare, och på vissa sätt enklare, vars noggrannhet kommer förvånansvärt nära den etablerade probabilistiska generativ strategi. De försök som redovisas här utfördes med hjälp av data från workshopen om att bygga och använda parallella texter som hölls på HLT-NAACL 2003 (Mihalcea och Pedersen, 2003). För de flesta av våra experiment använde vi en delmängd av Kanadensiska Hansards tvåspråkiga corpus levereras för workshopen, omfattande 500.000 engelsk-franska meningar par, inklusive 37 mening par betecknas som "trial" data, och 447 mening par betecknas som testdata. Test- och testdata har manuellt anpassats till ordnivån, med särskilda ordpar, antingen som "säkra" eller "möjliga" anpassningar. Som ytterligare ett test, utvärderade vi vår bästa anpassningsmetod med hjälp av workshop corpus av cirka 49.000 engelsk-romanska meningar par från olika källor, inklusive 248 manuellt anpassade mening par betecknas som testdata. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
I REF föreslår Moore log-likelihood-ratio association measure och anpassningsalgoritm, vilket är snabbare och enklare än det generativa probabilistiska ramverket.
Association-Based Bilingual Word Alignment
{'venue': 'Workshop On Building And Using Parallel Texts', 'journal': None, 'mag_field_of_study': ['Computer Science']}