Att bygga allmänna samtalsagenter är en mycket utmanande uppgift, men nödvändig på vägen mot intelligenta agenter som kan interagera med människor i naturligt språk. Neural konversation modeller - rent datadrivna system utbildade end-to-end på dialog corpora - har visat stora löften nyligen, men de producerar ofta korta och generiska svar. I detta arbete presenteras nya utbildnings- och avkodningsmetoder som förbättrar kvaliteten, samstämmigheten och mångfalden av de långa svar som genereras med hjälp av sekvens-till-sekvens-modeller. Vårt tillvägagångssätt tillför självuppmärksamhet till dekodern för att bibehålla samstämmigheten i längre svar, och vi föreslår ett praktiskt tillvägagångssätt, som kallas glimtmodellen, för skalning till stora datauppsättningar. Vi introducerar en stokastisk strålesökningsalgoritm med segment-för-segment-rerankning som låter oss injicera mångfald tidigare i generationsprocessen. Vi tränade på en kombinerad datamängd på över 2.3B konversationsmeddelanden mined från webben. I människautvärderingsstudier producerar vår metod längre svar totalt, med en högre andel klassas som acceptabel och utmärkt som längd ökar, jämfört med baslinje sekvens-till-sekvens modeller med explicit längd-marknadsföring. En backoff-strategi ger bättre svar på det hela taget, i hela spektrumet av längder.
REF har på ett heuritiskt sätt omvärderat svarssegmentet per segment för att ge upphov till mångfald tidigare i avkodningsprocessen.
Generating Long and Diverse Responses with Neural Conversation Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}