Nyligen, förmågan att tecken-nivå utvärdering åtgärder för maskinöversättning utdata har bekräftats av flera mätvärden. Detta arbete föreslår översättningsredigeringshastighet på teckennivå (Character), som beräknar teckennivåredigeringsavståndet när du utför skiftredigeringen på ordnivå. Den nya metriska visar hög systemnivå korrelation med mänskliga ranking, särskilt för morfologiskt rika språk. Det överträffar den starka CHRF med upp till 7 % korrelation på olika metriska uppgifter. Dessutom tillämpar vi hypotesen mening längd för att normalisera redigeringsavståndet i Character, vilket också ger betydande förbättringar jämfört med att använda referens mening längd.
Charac-TER REF utvärderar en MT-hypotes baserad på karaktersnivåredigeringsavstånd.
CharacTer: Translation Edit Rate on Character Level
{'venue': 'WMT', 'journal': None, 'mag_field_of_study': ['Computer Science']}