Mänskligheten genererar svar som är beroende av semantiska och funktionella beroenden, inklusive samband, mellan dialogelementen och deras sammanhang. I detta dokument undersöker vi att matcha ett svar med dess multi-turn sammanhang med hjälp av beroendeinformation som baseras helt på uppmärksamhet. Vår lösning är inspirerad av den nyligen föreslagna Transformer i maskinöversättning (Vaswani et al., 2017) och vi utökar uppmärksamhetsmekanismen på två sätt. För det första konstruerar vi avbildningar av textsegment vid olika granulariteter enbart med staplad självuppmärksamhet. För det andra försöker vi extrahera de verkligen matchade segmentparen med uppmärksamhet över hela sammanhanget och responsen. Vi introducerar gemensamt dessa två typer av uppmärksamhet i ett enhetligt neuralt nätverk. Experiment på två storskaliga multi-turn response selection uppgifter visar att vår föreslagna modell avsevärt överträffar de senaste modellerna.
Zhou m.fl. REF undersökte att matcha ett svar med konversationssammanhang med beroendeinformation som Transformers lärt sig.
Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}