Vi anser att införliva ämnesinformation i sekvens-till-sekvens ramen för att generera informativa och intressanta svar för chatbots. I detta syfte föreslår vi en ämnesmedveten sekvens-till-sekvens (TA-Seq2Seq) modell. Modellen använder ämnen för att simulera tidigare kunskap om människan som vägleder dem att bilda informativa och intressanta svar i konversation, och utnyttjar ämnet information i generation genom en gemensam uppmärksamhetsmekanism och en partisk generation sannolikhet. Den gemensamma uppmärksamhetsmekanismen sammanfattar de dolda vektorerna i ett indatameddelande som kontextvektorer genom meddelandeuppmärksamhet, syntetiserar ämnesvektorer genom ämnesuppmärksamhet från ämnesorden i meddelandet som erhållits från en förtränad LDA-modell, och låter dessa vektorer gemensamt påverka generering av ord i avkodning. För att öka möjligheten för ämnesord som visas i svar, ändrar modellen generationsannolikheten för ämnesord genom att lägga till en extra sannolikhetspost för att partiska den totala fördelningen. Empirisk studie av både automatiska utvärderingsmått och humana annoteringar visar att TA-Seq2Seq kan generera mer informativa och intressanta svar, och betydligt överträffar de modernare svarsgenereringsmodellerna.
REF använde en liknande idé men tillförde ett extra sannolikhetsvärde i dekodern för att förvanska den totala fördelningen mot att utnyttja ämnesord i de genererade svaren.
Topic Aware Neural Response Generation
{'venue': 'AAAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}