Vi presenterar en mänsklig bedömning dataset och en anpassad metrisk för utvärdering av arabiska maskinöversättning. Vår medelstora datauppsättning är den första i sitt slag för arabiska med hög noteringskvalitet. Vi använder datasetet för att anpassa BLEU-poängen för arabiska. Våra poäng (AL-BLEU) ger partiella krediter för stam- och morfologiska matchningar av hypoteser och referensord. Vi utvärderar BLEU, METEOR och AL-BLEU på våra mänskliga domar corpus och visar att AL-BLEU har det högsta sambandet med mänskliga domar. Vi släpper datasetet och mjukvaran till forskarsamhället.
I den meningen är vårt arbete relaterat till AL-BLEU REF som är en anpassning av BLEU som ger partiella krediter för stam- och morfologiska matchningar av hypoteser och referensord.
A Human Judgement Corpus and a Metric for Arabic MT Evaluation
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}