Ett antal metoder för automatisk MT-utvärdering som bygger på djupa språkkunskaper har föreslagits. N-grambaserade mätvärden är dock fortfarande den dominerande metoden. Huvudorsaken är att fördelarna med att använda djupare språklig information ännu inte har klargjorts. I detta arbete föreslår vi ett nytt tillvägagångssätt för metautvärdering av MT-värderingsmått, eftersom korrelationen mot mänskliga domare inte avslöjar detaljer om för- och nackdelar med vissa mått. Vi använder sedan denna metod för att undersöka fördelarna med att införa språkliga egenskaper i utvärderingsmåtten. Sammantaget visar våra experiment att (i) både lexikala och språkliga mätvärden ger kompletterande fördelar och (ii) att kombinera båda typerna av mätvärden ger den mest robusta metautvärderingsprestandan.
Efter omfattande forskning inriktad på användning av språklig information i automatisk MT-utvärdering analyserar REF fördelarna med att införa språkliga egenskaper i utvärderingsmått.
The Contribution of Linguistic Features to Automatic Machine Translation Evaluation
{'venue': 'ACL-IJCNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}