Att skapa högkvalitativ text med tillräcklig mångfald är nödvändigt för ett brett spektrum av uppgifter inom Natural Language Generation (NLG). Maximi-likelihood (MLE) modeller som utbildats med lärardrivning har konsekvent rapporterats som svaga baslinjer, där dålig prestanda tillskrivs exponering partisk (Bengio et al., 2015; Ranzato et al., 2015); vid sluttid, är modellen matas sin egen förutsägelse i stället för en mark-sanning token, vilket kan leda till ackumulera fel och dåliga prover. Detta resonemang har lett till ett utbrott av kontradiktoriska metoder för NLG, eftersom GAN inte lider av exponeringsfördomar. I detta arbete gör vi flera överraskande observationer som motsäger vanliga uppfattningar. För det första ser vi över den kanoniska utvärderingsramen för NLG, och pekar på grundläggande brister med kvalitetsbaserad utvärdering: vi visar att man kan överträffa sådana mätvärden med hjälp av en enkel, välkänd temperaturparameter för att artificiellt minska entropin i modellens villkorliga fördelningar. För det andra utnyttjar vi kontrollen över den kvalitet/mångfald-avsättning som ges av denna parameter för att utvärdera modeller över hela kvalitets-mångfald spektrum, och hitta MLE modeller ständigt överträffar de föreslagna GAN varianter över hela kvalitets-mångfald utrymme. Våra resultat har flera konsekvenser: 1) Effekten av exponeringsfördel på provkvaliteten är mindre allvarlig än man tidigare trott, 2) temperaturinställning ger en bättre kvalitet/mångfald jämfört med kontradiktorisk utbildning, samtidigt som den är lättare att träna, lättare att korsvalida och mindre beräkningskrävande. Kod för att reproducera experimenten finns på github.com/ pclucas14/GansFallingShort
REF justerar en "temperatur" parameter i softmax-utgången, och utvärderar modeller över hela kvalitetsmångfaldspektrumet.
Language GANs Falling Short
{'venue': 'ICLR 2020 - Proceedings of the Seventh International Conference on Learning Representation', 'journal': None, 'mag_field_of_study': ['Computer Science']}