Vi studerar multi-turn response generation i chatbots där ett svar genereras enligt en konversation sammanhang. Befintligt arbete har modellerat sammanhangets hierarki, men tar inte tillräcklig hänsyn till det faktum att ord och uttalanden i sammanhanget är olika viktiga. Till följd av detta kan de förlora viktig information i sitt sammanhang och generera irrelevanta svar. Vi föreslår ett hierarkiskt nätverk för återkommande uppmärksamhet (HRAN) för att modellera båda aspekterna inom en enhetlig ram. I HRAN ägnar sig en hierarkisk uppmärksamhetsmekanism åt viktiga delar inom och mellan uttalanden med uppmärksamhet på ordnivå respektive uppmärksamhet på talnivå. Med ordet nivå uppmärksamhet, dolda vektorer av en ordnivå kodare syntetiseras som uttalande vektorer och matas till en uttalande nivå kodare för att skapa dolda representationer av sammanhanget. De dolda vektorerna i sammanhanget bearbetas sedan av observationsnivåns uppmärksamhet och formas som kontextvektorer för avkodning av svaret. Empiriska studier av både automatisk utvärdering och mänskligt omdöme visar att HRAN avsevärt kan överträffa toppmoderna modeller för multi-turn responsgenerering.
Att uppmärksamma olika delar av sammanhanget samtidigt generera svar, Xing et al. I REF föreslogs det hierarkiska nätverket för återkommande uppmärksamhet (HRAN) som använder en mekanism för hierarkisk uppmärksamhet.
Hierarchical Recurrent Attention Network for Response Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}