Icke-Auto Regressive Neural Machine Translation (NAT) uppnår betydande avkodning hastighet upp genom att generera målord självständigt och samtidigt. Men i samband med icke-autoregressiv översättning, kan ord-nivå kors-entropi förlust inte modellera mål-sidan sekventiellt beroende korrekt, vilket leder till dess svaga korrelation med översättningens kvalitet. Som ett resultat, NAT tenderar att generera influent översättningar med överöversättning och undertranslation fel. I detta dokument föreslår vi att vi utbildar NAT för att minimera skillnaden mellan modellens utdata och referensmeningen. Utbildningsmålet bag-of-ngrams är differentierat och kan beräknas effektivt, vilket uppmuntrar NAT att fånga det sekventiella beroendet på målsidan och korrelerar väl med översättningens kvalitet. Vi bekräftar vårt tillvägagångssätt för tre översättningsuppgifter och visar att vårt tillvägagångssätt till stor del överträffar NAT:s baslinje med cirka 5,0 BLEU-poäng på WMT14 EnșDe och cirka 2,5 BLEU-poäng på WMT16 EnșRo.
Slutligen inför REF utbildningsmålet på bag-of-ngrams för att uppmuntra modellen att fånga upp sekventiella beroenden på målsidan.
Minimizing the Bag-of-Ngrams Difference for Non-Autoregressive Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}