Neural textgenerering modeller är ofta autoregressiva språkmodeller eller följande 2seq modeller. Dessa modeller genererar text genom provtagning ord sekventiellt, med varje ord betingat på föregående ord, och är state-of-the-art för flera maskinöversättning och summering riktmärken. Dessa riktmärken definieras ofta genom valideringsförvirring, även om detta inte är ett direkt mått på den genererade textens kvalitet. Dessutom tränas dessa modeller vanligtvis genom maximal sannolikhet och lärardrivning. Dessa metoder är väl lämpade för att optimera perplexitet men kan resultera i dålig provkvalitet eftersom genererande text kräver konditionering på sekvenser av ord som kanske aldrig har observerats vid träningstid. Vi föreslår att förbättra provkvaliteten med hjälp av Generativa Adversarial Networks (Gans), som uttryckligen utbildar generatorn att producera högkvalitativa prover och har visat en hel del framgång i bildgenerering. GANs var ursprungligen utformade för att producera olika värden, så diskret språkgenerering är utmanande för dem. Vi hävdar att enbart valideringsförvirring inte är ett tecken på kvaliteten på den text som genereras av en modell. Vi introducerar en skådespelare-kritisk villkorlig GAN som fyller i saknade text betingad av det omgivande sammanhanget. Vi visar kvalitativt och kvantitativt, bevis på att detta ger mer realistiska villkorade och villkorslösa textprover jämfört med en maximal sannolikhetsutbildad modell.
MaskGan REF ) utformar en skådespelare-kritisk förstärkning inlärning baserad GAN för att förbättra kvaliteten på textgenerering genom att fylla i saknade texter som är beroende av det omgivande sammanhanget.
MaskGAN: Better Text Generation via Filling in the ______
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}