Vi presenterar de första resultaten någonsin som visar att stämning av ett maskinöversättningssystem mot en semantisk rambaserad objektiv funktion, MEET, producerar mer robust adekvata översättningar än stämning mot BLEU eller TER mätt över allmänt använda mått och mänsklig subjektiv utvärdering. När det gäller informella webbforumdata föredrog människoutvärderare dessutom MET-justerade system framför BLEU- eller TER-justerade system med betydligt större marginal än för formella nyhetstrådar, även om automatisk semantisk tolkning kan förväntas gå sämre på informellt språk. Vi hävdar att genom att bevara betydelsen av översättningar som fångas av semantiska ramar rätt i utbildningsprocessen, ett MT-system begränsas till att göra mer exakta val av både lexiska och omordningsregler. Som ett resultat, MT system avstämda mot semantiska rambaserade MT utvärderingsmått producera utdata som är mer adekvat. Att anpassa ett maskinöversättningssystem mot en semantisk rambaserad objektiv funktion är oberoende av översättningsmodellparadigmet, så alla översättningsmodeller kan dra nytta av den semantiska kunskap som införlivas för att förbättra översättningens lämplighet genom vårt tillvägagångssätt.
REF visade senare att inställning av ett MT-system mot detta metriska producerade mer robusta översättningar.
Improving machine translation by training against an automatic semantic frame based evaluation metric
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}