Som ett nytt sätt att träna generativa modeller, Generative Adversarial Net (GAN) som använder en diskriminerande modell för att vägleda utbildningen av den generativa modellen har haft stor framgång i att generera verkligt värderade data. Men det har begränsningar när målet är att generera sekvenser av diskreta polletter. En viktig orsak är att de diskreta utgångarna från den generativa modellen gör det svårt att överföra gradientuppdateringen från den diskriminerande modellen till den generativa modellen. Också, den diskriminerande modellen kan bara bedöma en komplett sekvens, medan för en delvis genererad sekvens, är det icke-trivial att balansera sin nuvarande poäng och den framtida en när hela sekvensen har genererats. I detta dokument föreslår vi en ram för sekvensgenerering, kallad SeqGAN, för att lösa problemen. Modellera datageneratorn som en stokastisk politik i förstärkning lärande (RL), SeqGAN kringgår problemet med generatordifferentiering genom att direkt utföra gradient policyuppdatering. RL-belöningssignalen kommer från GAN-diskriminatorn som bedöms utifrån en komplett sekvens, och skickas tillbaka till de mellanliggande faserna med hjälp av Monte Carlo-sökning. Omfattande experiment på syntetiska data och verkliga uppgifter visar på betydande förbättringar jämfört med starka baslinjer.
SeqGAN REF tar itu med detta problem genom att betrakta problemet med sekvensgenerering som en sekventiell beslutsprocess i det förstärkta lärandet (RL).
SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}