En uppmärksamhetsmekanism har nyligen använts för att förbättra neural maskinöversättning (NMT) genom att selektivt fokusera på delar av källmeningen under översättning. Det har dock varit lite arbete med att utforska användbara arkitekturer för uppmärksamhetsbaserade NMT. I detta dokument undersöks två enkla och effektiva klasser av uppmärksamhetsmekanism: en global strategi som alltid behandlar alla källord och en lokal som bara tittar på en delmängd av källord åt gången. Vi visar effektiviteten i båda tillvägagångssätten för WMT översättningsuppgifter mellan engelska och tyska i båda riktningarna. Med lokal uppmärksamhet uppnår vi en betydande vinst på 5,0 BLEU-poäng över icke-anslutna system som redan innehåller kända tekniker som t.ex. avhopp. Vår ensemblemodell med hjälp av olika uppmärksamhetsarkitekturer ger ett nytt toppmodernt resultat i WMT'15 engelska till tyska översättningsuppgift med 25,9 BLEU poäng, en förbättring med 1,0 BLEU poäng över det befintliga bästa systemet som stöds av NMT och en n-gram reranker. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
Återkommande neurala nätverk baserade kodare-dekoder modeller har tillämpats på maskinöversättning och snabbt uppnått state-of-the-art resultat REF.
Effective Approaches to Attention-based Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}