Vi anser att införliva ämnesinformation i sekvens-till-sekvens ramen för att generera informativa och intressanta svar för chatbots. I detta syfte föreslår vi en ämnesmedveten sekvens-till-sekvens (TA-Seq2Seq) modell. Modellen använder ämnen för att simulera tidigare kunskap om människan som vägleder dem att bilda informativa och intressanta svar i konversation, och utnyttjar ämnet information i generation genom en gemensam uppmärksamhetsmekanism och en partisk generation sannolikhet. Den gemensamma uppmärksamhetsmekanismen sammanfattar de dolda vektorerna i ett indatameddelande som kontextvektorer genom meddelandeuppmärksamhet, syntetiserar ämnesvektorer genom ämnesuppmärksamhet från ämnesorden i meddelandet som erhållits från en förtränad LDA-modell, och låter dessa vektorer gemensamt påverka generering av ord i avkodning. För att öka möjligheten för ämnesord som visas i svar, ändrar modellen generationsannolikheten för ämnesord genom att lägga till en extra sannolikhetspost för att partiska den totala fördelningen. Empirisk studie av både automatiska utvärderingsmått och humana annoteringar visar att TA-Seq2Seq kan generera mer informativa och intressanta svar, och betydligt överträffar de modernare svarsgenereringsmodellerna.
Xing m.fl. REF föreslog en gemensam uppmärksamhetsmekanism modell, som ändrade generationsannolikheten genom att lägga till ämnesordsannolikhet för den genererade maximala sannolikheten med extra corpus.
Topic Aware Neural Response Generation
{'venue': 'AAAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}