Vi introducerar den första helt automatiska, helt semantiska ramen baserad MT utvärdering metrisk, MET, som överträffar alla andra allmänt använda automatiska mått i korrelera med mänsklig bedömning om översättning tillräcklig. Det senaste arbetet på HMEANT, som är en mänsklig metrisk, indikerar att maskinöversättning kan utvärderas bättre via semantiska ramar än andra utvärdering paradigm, kräver endast minimal ansträngning från enspråkiga människor att kommentera och anpassa semantiska ramar i referens- och maskinöversättningar. Vi föreslår en förvånansvärt effektiv Occams rakhyvelautomation av HMEANT som kombinerar vanlig grund semantisk parsering med en enkel maximal viktad bipartitmatchande algoritm för att anpassa semantiska ramar. Matchningskriteriet är baserat på lexikal likhet poängsättning av semantiska roll fyller genom en enkel kontext vektor modell som lätt kan tränas med hjälp av någon allmänt tillgänglig stor enspråkig corpus. Konsekvensnivå korrelationsanalys, enligt standard NIST MetricsMATR protokoll, visar att denna helt automatiserade version av HMEANT uppnår betydligt högre Kendall korrelation med mänskliga lämplighet bedömningar än BLEU, NIST, ME-TEOR, PER, CDER, WER, eller TER. Dessutom visar vi att utförandet av den semantiska ramjusteringen automatiskt faktiskt tenderar att vara precis lika bra som att utföra den manuellt. Trots sin höga prestanda, helt automatiserad MEET kan fortfarande bevara HMEANT's fördelar av enkelhet, representationstransparens och billighet.
Ref föreslog en semantisk roll driven MT metrisk.
Fully Automatic Semantic MT Evaluation
{'venue': 'Proceedings of the Seventh Workshop on Statistical Machine Translation', 'journal': None, 'mag_field_of_study': ['Computer Science']}