Neural Machine Translation (NMT) är en end-to-end lärande strategi för automatisk översättning, med potential att övervinna många av svagheterna i konventionella frasbaserade översättningssystem. Tyvärr är NMT system kända för att vara beräknings dyrt både i utbildning och i översättning inference - ibland oöverkomligt så i fallet med mycket stora datamängder och stora modeller. Flera författare har också laddat att NMT-system saknar robusthet, särskilt när inmatningsmeningar innehåller sällsynta ord. Dessa frågor har hindrat NMT:s användning i praktiska driftsättningar och tjänster, där både noggrannhet och hastighet är nödvändiga. I detta arbete presenterar vi GNMT, Googles Neural Machine Translation system, som försöker ta itu med många av dessa frågor. Vår modell består av ett djupt LSTM-nätverk med 8 kodare och 8 dekoderskikt med hjälp av kvarvarande anslutningar samt uppmärksamhetsanslutningar från dekodernätet till kodaren. För att förbättra parallellismen och därmed minska träningstiden, kopplar vår uppmärksamhetsmekanism det nedre lagret av dekoder till det översta lagret av kodaren. För att påskynda den slutliga översättningshastigheten använder vi oss av aritmetik med låg precision under inferensberäkningar. För att förbättra hanteringen av sällsynta ord delar vi in ord i en begränsad uppsättning gemensamma underordsenheter ("ordstycken") för både inmatning och utmatning. Denna metod ger en bra balans mellan flexibiliteten hos "tecken" avgränsade modeller och effektiviteten hos "ord" avgränsade modeller, naturligtvis hanterar översättning av sällsynta ord, och i slutändan förbättrar den övergripande noggrannheten i systemet. Vår stråle sökning teknik använder en längd-normalisering förfarande och använder en täckning straff, som uppmuntrar generering av en output mening som är mest sannolikt att täcka alla ord i källmeningen. För att direkt optimera översättningen av BLEU-poängen överväger vi att förfina modellerna genom att använda förstärkningslärande, men vi fann att förbättringen av BLEU-poängen inte återspeglade i den mänskliga utvärderingen. På WMT's14 engelska-till-franska och engelska-till-tyska riktmärken uppnår GNMT konkurrenskraftiga resultat till toppmoderna. Med hjälp av en mänsklig sida vid sida utvärdering på en uppsättning isolerade enkla meningar, minskar det översättningsfel med i genomsnitt 60 % jämfört med Googles frasbaserade produktionssystem.
Vår lösning som använder en täckning straff vid avkoda tiden är mest lik den som används av Google Translation system REF.
Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}