Trots de framsteg som gjorts i meningsnivå NMT, nuvarande system fortfarande misslyckas med att uppnå flytande, bra kvalitet översättning för ett fullständigt dokument. Nya verk i sammanhang-medveten NMT betraktar bara några få tidigare meningar som sammanhang och kan inte skala till hela dokument. I detta syfte föreslår vi en ny och skalbar uppifrån-och-ned-strategi för hierarkisk uppmärksamhet för kontextmedvetna NMT som använder sparsam uppmärksamhet för att selektivt fokusera på relevanta meningar i dokumentets sammanhang och sedan ägna sig åt nyckelord i dessa meningar. Vi föreslår också åtgärder på enskild nivå som grundar sig på menings- eller ordnivåinformation i sammanhanget. Den sammanhangsrepresentation på dokumentnivå som produceras från dessa uppmärksamhetsmoduler integreras i Transformermodellens kodare eller avkodare beroende på om vi använder enspråkigt eller tvåspråkigt sammanhang. Våra experiment och utvärdering av engelsk-tyska datauppsättningar i olika dokument MT-inställningar visar att vår selektiva uppmärksamhet inte bara avsevärt överträffar kontext-agnostiska baslinjer utan också överträffar kontext-medvetna baslinjer i de flesta fall.
REF presenterar också ett tillvägagångssätt för att selektivt fokusera på relevanta meningar i dokumentets sammanhang och inte bara betrakta några få tidigare meningar som sammanhang.
Selective Attention for Context-aware Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}