Blandningsmodeller som utbildas via EM är bland de enklaste, mest använda och välförstådda latenta variabla modellerna i maskininlärningslitteraturen. Förvånansvärt nog har dessa modeller knappast utforskats i tillämpningar för textgenerering såsom maskinöversättning. I princip ger de en latent variabel för att styra produktionen och producera en mängd olika hypoteser. I praktiken är dock blandningsmodellerna benägna att degeneraciesofta bara en komponent blir tränad eller den latenta variabeln helt enkelt ignoreras. Vi anser att inaktiverande av avhoppsbuller i ansvarsberäkning är avgörande för framgångsrik utbildning. Dessutom kan designval av parameterisering, tidigare distribution, hård kontra mjuk EM och online kontra offline uppdrag dramatiskt påverka modellens prestanda. Vi utvecklar ett utvärderingsprotokoll för att bedöma både kvalitet och mångfald av generationer mot flera referenser, och ger en omfattande empirisk studie av flera blandningsmodellvarianter. Vår analys visar att vissa typer av blandningsmodeller är mer robusta och erbjuder den bästa kompromissen mellan översättningens kvalitet och mångfald jämfört med variationsmodeller och olika avkodningsmetoder. 1 * Lika bidrag 1 MIT CSAIL 2 Facebook AI forskning. Korrespondens till: Tianxiao Shen <tianxiao@csail.mit.edu>.
Dessutom utvärderar REF utförligt olika designval av blandningsmodeller såsom parameterisering och tidigare distribution.
Mixture Models for Diverse Machine Translation: Tricks of the Trade
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}