Detta dokument beskriver Parmesan, vår inlämning till 2014 Workshop on Statistical Machine Translation (WMT) metrics uppgift för utvärdering engelsk-till-tjeckisk översättning. Vi visar att de tjeckiska Meteor Parafrastabellerna är så bullriga att de faktiskt kan skada prestandan av metriska. De kan dock vara mycket användbara efter omfattande filtrering vid riktad parafrasering av tjeckiska referensstraff före utvärderingen. Parmesan utför först riktad parafrasering av referens meningar, sedan beräknar Meteor score med hjälp av endast den exakta matchningen på dessa nya referens meningar. Det visar betydligt högre korrelation med mänskligt omdöme än Meteor på data från WMT12 och WMT13.
Men dess tjeckiska parafrastabeller är så bullriga (dvs. de innehåller par av ickeparafrastiska uttryck) att de faktiskt skadar prestandan av metriska, eftersom det kan belöna felöversatt och även oöversatt ord REF.
Parmesan: Meteor without Paraphrases with Paraphrased References
{'venue': 'WMT@ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}