Vi utforskar berättelsegeneration: kreativa system som kan bygga sammanhängande och flytande textavsnitt om ett ämne. Vi samlar in en stor datauppsättning på 300K human-writed stories pared with writing prompts from a online forum. Vår datauppsättning möjliggör hierarkisk berättelsegenerering, där modellen först skapar en premiss, och sedan omvandlar den till en passage av text. Vi får ytterligare förbättringar med en ny form av modellfusion som förbättrar berättelsens relevans för prompten, och lägger till en ny gated multi-scale själv-attention mekanism för att modellera långdistanssammanhang. Experiment visar stora förbättringar jämfört med starka baslinjer för både automatiserade och mänskliga utvärderingar. Mänskliga domare föredrar berättelser som genereras av vår inställning till dem från en stark icke-hierarkisk modell av en faktor av två till en.
REF anpassar ett hierarkiskt tillvägagångssätt för att skapa en premiss och sedan berättelser för att förbättra samstämmighet och smidighet.
Hierarchical Neural Story Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}