Uppmärksamhetsmekanismen har blivit en populär och allmänt använd komponent i sekvens-till-sekvens modeller. Tidigare forskning om neurala generativa dialogsystem genererar dock alltid universella svar, och den uppmärksamhet som modellen lärt sig är alltid inriktad på samma semantiska aspekt. För att lösa detta problem föreslår vi i detta dokument en ny mekanism för multi-Head Attention Mechanism (MHAM) för generativa dialogsystem, som syftar till att fånga upp flera semantiska aspekter från användaruttalandet. Dessutom är en regularizer formulerad för att tvinga olika uppmärksamhet huvuden att koncentrera sig på vissa aspekter. Den föreslagna mekanismen leder till mer informativa, mångsidiga och relevanta reaktioner. Experimentella resultat visar att vår föreslagna modell överträffar flera starka baslinjer.
Tao och Al. I REF föreslås en mekanism med flera huvudinriktningar för att fånga upp flera semantiska aspekter av frågan och generera ett mer informativt svar.
Get The Point of My Utterance! Learning Towards Effective Responses with Multi-Head Attention Mechanism
{'venue': 'IJCAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}