Modeller av neural maskinöversättning är ofta från en discriminativ familj av kodare-dekodrar som lär sig en villkorlig fördelning av en mål mening ges en käll mening. I detta papper föreslår vi en variationsmodell för att lära sig denna villkorliga fördelning för neural maskinöversättning: en variationell kodare-dekoder modell som kan tränas end-to-end. Annorlunda från vaniljencoder-dekoder modell som genererar målöversättningar från dolda representationer av källmeningar ensam, introducerar variationsmodellen en kontinuerlig latent variabel för att explicit modell underliggande semantik av källmeningar och för att vägleda generering av målöversättningar. För att utföra en effektiv bakre slutledning, bygger vi en neural bakre caimator som endast är konditionerad på källsidan. Dessutom använder vi en reparameteriseringsteknik för att uppskatta variationsdjupet för att möjliggöra standard stokastisk gradientoptimering och storskalig träning för variationsmodellen. Experiment på NIST Kinesisk-Engelska översättning uppgifter visar att den föreslagna variationell neural maskin översättning uppnå betydande förbättringar över både stateof-the-art statistik och neural maskin översättning basics.
Dessutom introducerar variationell NMT REF en latent variabel för att modellera den underliggande semantik av käll meningar.
Variational Neural Machine Translation
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}