Automatisk utvärdering av maskinöversättning (MT) kvalitet är avgörande för att utveckla högkvalitativa MT-system. Olika utvärderingsmått har föreslagits, och BLEU används nu som de facto-standardmått. Men när vi överväger översättning mellan avlägsna språkpar som japanska och engelska, de mest populära mått (t.ex., BLEU, NIST, PER och TER) fungerar inte bra. Det är väl känt att japanska och engelska har helt olika ord, och särskild omsorg måste betalas till ordordning i översättning. Annars leder översättningar med fel ordföljd ofta till missförstånd och obegriplighet. Till exempel, SMT-baserade japanska-till-engelska översättare tenderar att översätta "A eftersom B" som "B eftersom A." Ordföljd är således det viktigaste problemet för översättning av främmande språk. Men konventionella mätvärden straffar inte sådana ordföljdsfel i någon större utsträckning. Att lokalt optimera dessa mått leder därför till otillräckliga översättningar. I detta dokument föreslår vi en automatisk utvärderingsmått baserad på rankkorrelationskoefficienter modifierade med precision. Vår meta-utvärdering av NTCIR-7 PATMT JE uppgiftsdata visar att detta metriska överträffar konventionella mätvärden.
I REF uppmärksammades ordföljden av utvärderingen mellan japanska och engelska.
Automatic Evaluation of Translation Quality for Distant Language Pairs
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}