Vi beskriver METEOR, en automatisk metriska för maskinöversättning utvärdering som är baserad på ett generaliserat koncept för unigram matchning mellan den maskinproducerade översättningen och människoproducerade referensöversättningar. Unigram kan matchas baserat på deras ytformer, stammade former och betydelser; dessutom kan METEOR enkelt utvidgas till att omfatta mer avancerade matchande strategier. När alla generaliserade unigram matcher mellan de två strängar har hittats, METEOR beräknar en poäng för denna matchning med hjälp av en kombination av unigram-precision, unigram-recall, och ett mått på fragmentering som är utformad för att direkt fånga hur välordnade de matchade orden i maskinen översättning är i förhållande till referensen. Vi utvärderar METEOR genom att mäta korrelationen mellan metriska poäng och mänskliga bedömningar av översättningens kvalitet. Vi beräknar Pearson R korrelationsvärdet mellan dess poäng och mänskliga kvalitetsbedömningar av LDC Tides 2003 Arabiska-till-engelska och kinesiska-till-engelska datauppsättningar. Vi utför segment-bysegment korrelation, och visar att METEOR får ett R korrelationsvärde på 0,347 på arabiska data och 0,331 på kinesiska data. Detta visar sig vara en förbättring på att använda helt enkelt unigramprecision, unigram-recall och deras harmonisk F1-kombination. Vi utför också experiment för att visa de relativa bidragen från de olika kartmodulerna.
REF föreslog METEOR baserat på en uttrycklig ord-till-ord-matchning mellan kandidatöversättning och en eller flera referensöversättningar.
METEOR: An Automatic Metric For MT Evaluation With Improved Correlation With Human Judgments
{'venue': 'Workshop On Intrinsic And Extrinsic Evaluation Measures For Machine Translation And/or Summarization', 'journal': None, 'mag_field_of_study': ['Computer Science']}