Det har historiskt sett varit svårt och tidskrävande att analysera översättningskvaliteten när det gäller specifika språkliga fenomen. Neural maskinöversättning har den attraktiva egenskapen att den kan producera poäng för godtyckliga översättningar, och vi föreslår en ny metod för att bedöma hur väl NMT system modellerar specifika språkliga fenomen såsom överenskommelse över långa avstånd, produktion av nya ord, och trogen översättning av polaritet. Kärnan är att vi mäter om en referensöversättning är mer sannolik under en NMT-modell än en kontrasterande översättning som introducerar en specifik typ av fel. Vi presenterar LingEval97 1, en storskalig datauppsättning på 97 000 kontrastiva översättning par baserat på WMT engelska→Tyska översättning uppgift, med fel automatiskt skapas med enkla regler. Vi rapporterar resultat för ett antal system, och finner att nyligen introducerade karaktär-nivå NMT-system presterar bättre på translitterering än modeller med byte-parkodning (BPE) segmentering, men presterar mer dåligt på morfosyntaktisk överenskommelse, och översätta diskontikuösa enheter av mening.
Ref fokuserar också på NMT-system och föreslår ett kontrasttest för att bedöma hur de hanterar olika språkliga fenomen.
How Grammatical is Character-level Neural Machine Translation? Assessing MT Quality with Contrastive Translation Pairs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}