Sekvens-till-sekvens modeller har tillämpats på konversation svarsgenerering problem där källsekvensen är konversationshistoriken och målsekvensen är svaret. Till skillnad från översättning är samtal som svarar medfött kreativt. Det är fortfarande en svår uppgift att skapa långa, informativa, sammanhängande och mångsidiga svar. I detta arbete fokuserar vi på den enda svänginställningen. Vi lägger till självuppmärksamhet till dekodern för att bibehålla samstämmigheten i längre svar, och vi föreslår ett praktiskt tillvägagångssätt, som kallas glimtmodellen, för skalning till stora datauppsättningar. Vi introducerar en stokastisk strålesökningsalgoritm med segment-för-segment-rerankning som låter oss injicera mångfald tidigare i generationsprocessen. Vi tränade på en kombinerad datamängd på över 2.3B konversationsmeddelanden mined från webben. I mänskliga utvärderingsstudier producerar vår metod längre svar totalt, med en högre andel betygsatt som acceptabel och utmärkt som längdökningar, jämfört med baslinjesekvens till följd modeller med explicit längdmarknadsföring. En back-off-strategi ger bättre svar på det hela taget, i hela spektrumet av längder.
REF utbildade och omvärderade svar segment för segment med en glimt modell för att injicera mångfald.
Generating High-Quality and Informative Conversation Responses with Sequence-to-Sequence Models
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}