I detta dokument föreslår vi en ny metod för att beräkna utdataskiktet i neurala maskinöversättningssystem. Metoden bygger på att förutsäga en binär kod för varje ord och kan minska beräkningstiden/minneskraven för utdatalagret för att vara logaritmisk i ordförrådsstorlek i bästa fall. Dessutom inför vi två avancerade metoder för att förbättra den föreslagna modellens robusthet: att använda felkorrigeringskoder och kombinera softmax och binära koder. Experiment på två engelsk-japanska dubbelriktade översättningsuppgifter visar föreslagna modeller uppnå BLEU poäng som närmar sig softmax, samtidigt minska minnesanvändning i ordningen mindre än 1/10 och förbättra avkodningshastigheten på processorer med x5 till x10.
REF föreslog en bitlevel dekoder, där ett ord representeras av en binär kod och varje bit av koden kan förutsägas parallellt.
Neural Machine Translation via Binary Code Prediction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}