För maskinöversättning för att hantera diskursen fenomen, modeller måste ha tillgång till extrasentential språkligt sammanhang. Det har nyligen funnits intresse för modellering sammanhang i neural maskinöversättning (NMT), men modeller har främst utvärderats med standard automatiska mått, dåligt anpassade för att utvärdera diskurs fenomen. I den här artikeln presenterar vi handgjorda, diskurs testuppsättningar, utformade för att testa modellernas förmåga att utnyttja tidigare käll- och målmeningar. Vi undersöker utförandet av nyligen föreslagna multi-encoder NMT modeller tränas på textning för engelska till franska. Vi utforskar också ett nytt sätt att utnyttja sammanhanget från föregående mening. Trots vinster med hjälp av BLEU ger multi-encoder modeller begränsade förbättringar i hanteringen av diskurser fenomen: 50% noggrannhet på vår coreferens test uppsättning och 53,5% för samstämmighet/sammanhållning (jämfört med en icke-kontextuell baslinje på 50%). En enkel strategi för avkodning av sammanfogningen av den föregående och nuvarande meningen leder till goda resultat, och vår nya strategi för multikodning och avkodning av två meningar leder till de bästa resultaten (72,5 % för samreferens och 57 % för sammanhållning/sammanhållning), och understryker vikten av sammanhang på målsidan.
REF presenterade handgjorda diskursen testuppsättningar, utformade för att testa modellens förmåga att utnyttja tidigare käll- och mål meningar, baserat på 200 kontrasterande par meningar, där man har en korrekt och man har en fel pronomen översättning.
Evaluating Discourse Phenomena in Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}