Deep Neural Networks (DNN) har avsevärt förbättrat den toppmoderna Neural Machine Translation (NMT) med sin förmåga att modellera komplexa funktioner och fånga komplexa språkliga strukturer. NMT-system med djup arkitektur i sin kodare eller dekoder RNN lider dock ofta av svår gradientspridning på grund av icke-linjära återkommande aktiveringar, vilket ofta gör optimeringen mycket svårare. För att lösa detta problem föreslår vi nya linjära associativa enheter (LAU) för att minska gradientförökningslängden inne i den återkommande enheten. Bortsett från konventionella inflygningar (LSTM-enhet och GRU) använder LAU linjära associativa anslutningar mellan in- och utmatning av den återkommande enheten, vilket möjliggör obehindrat informationsflöde genom både rymd- och tidsriktning. Modellen är ganska enkel, men förvånansvärt effektiv. Vår empiriska studie om kinesisk-engelska översättning visar att vår modell med rätt konfiguration kan förbättras med 11,7 BLEU på Groundhog och de bästa rapporterade resultaten i samma miljö. På WMT14:s engelska-tyska uppgift och en större WMT14:s engelsk-franska uppgift uppnår vår modell jämförbara resultat med toppmoderna.
I REF föreslås en linjär associerad enhet för att minska lutningens förökningslängd längs lager i djup NMT.
Deep Neural Machine Translation with Linear Associative Unit
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}