Detta dokument beskriver våra bidrag till maskinöversättning utvärdering delad uppgift i ACL WMT-08. Vår primära underkastelse är Meteor metrisk stämd för att optimera korrelation med mänsklig ranking av översättningshypoteser. Vi visar betydande förbättring i korrelation jämfört med den tidigare versionen av metrisk som var justerad till optimerad korrelation med traditionell tillräcklighet och fluency bedömningar. Vi beskriver också m-bleu och m-ter, förbättrade versioner av två andra allmänt använda mätvärden bleu respektive ter, som utökar den exakta ordmatchning som används i dessa mätvärden med flexibel matchning baserad på relief och Wordnet i Meteor.
Agarwal och Lavie REF beskrev korrelationen mellan mänsklig rankning av MT och utvärderingsmetriska METEOR, M-Bleu och M-TER.
Meteor, M-BLEU and M-TER: Evaluation Metrics for High-Correlation with Human Rankings of Machine Translation Output
{'venue': 'Proceedings of the Third Workshop on Statistical Machine Translation', 'journal': None, 'mag_field_of_study': ['Computer Science']}