Vi presenterar ett verktyg, BLEU+, som implementerar olika tillägg till BLEU beräkning för att möjliggöra en bättre förståelse av översättningen prestanda, särskilt för morfologiskt komplexa språk. BLEU+ tar hänsyn till både "närhet" i morfologisk struktur, "närhet" i grundorden i WordNet-hierarkin och jämför polletter i kandidat- och referensmeningen. Förutom att mäta prestanda på en finare nivå av granularitet, BLEU+ också gör det möjligt att beräkna olika övre bundna oracle poäng: jämföra alla tokens med endast rötterna tillåter oss att få en övre gräns när alla fel på grund av morfologisk struktur är fasta, medan jämföra tokens på ett feltolerant sätt med tanke på mindre morfemet redigera operationer, tillåter oss att få en (mer realistisk) övre gräns när polletter som skiljer sig i morfem inför/deletions och substitutioner är fast. Vi använder BLEU+ i den finkorniga utvärderingen av produktionen i vårt engelsk-turkiska statistiska MT-system.
Ref presenterade BLEU+, ett verktyg som genomför olika utvidgningar av BLEU-beräkningen för att möjliggöra en bättre utvärdering av översättningsprestandan för turkiska.
BLEU+: a Tool for Fine-Grained BLEU Computation
{'venue': 'LREC', 'journal': None, 'mag_field_of_study': ['Computer Science']}