Automatiskt generera sammanhängande och semantiskt meningsfull text har många tillämpningar i maskinöversättning, dialogsystem, bildtextning, etc. Nyligen, genom att kombinera med policygradient, Generative Adversarial Nets (GAN) som använder en diskriminerande modell för att vägleda utbildningen av den generativa modellen som en förstärkning lärande politik har visat lovande resultat i textgenerering. Den skalära ledsignalen är dock endast tillgänglig efter att hela texten har genererats och saknar mellanliggande information om textstrukturen under den generativa processen. Som sådan, begränsar det sin framgång när längden på de genererade textprover är lång (mer än 20 ord). I detta dokument föreslår vi en ny ram, LeakGAN, för att ta itu med problemet för en lång textgeneration. Vi tillåter det diskriminerande nätet att läcka sina egna högnivå extraherade funktioner till det generativa nätet för att ytterligare hjälpa vägledningen. Generatorn innehåller sådana informativa signaler i alla generationssteg genom en ytterligare MANAGER modul, som tar de extraherade funktionerna i aktuella genererade ord och utgångar en latent vektor för att vägleda WORKER modulen för nästa ord generation. Våra omfattande experiment på syntetisk data och olika verkliga uppgifter med Turing test visar att LeakGAN är mycket effektiv i långtextgenerering och också förbättrar prestandan i korta textgenereringsscenarier. Ännu viktigare, utan någon tillsyn, LeakGAN skulle underförstått kunna lära mening strukturer endast genom samspelet mellan MANAGER och ARBETARE.
Efteråt föreslår REF LeakGAN, som syftar till lång textgenerering med hjälp av en hierarkisk arkitektur.
Long Text Generation via Adversarial Training with Leaked Information
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}