Uppmärksamhet baserade återkommande neurala nätverk har visat fördelar i att representera naturliga språk meningar Rocktäschel et al., 2015; Tan et al., 2015). Baserat på återkommande neurala nätverk (RNN), extern uppmärksamhet information lades till dolda representationer för att få en uppmärksam mening representation. Trots förbättringen jämfört med icke-uppmärksamma modeller är uppmärksamhetsmekanismen under RNN inte väl studerad. I detta arbete analyserar vi bristen på traditionella RNN-modeller kvantitativt och kvalitativt. Sedan presenterar vi tre nya RNN-modeller som lägger till information innan RNN dolda representation, som visar fördel i att representera mening och uppnå nya toppmoderna resultat i svar urval uppgift.
För att tydligare representera frågor, Wang et al. REF använder återkommande neurala nätverk (RNN) med en uppmärksamhetsmekanism för att uttrycka frågorna och presentera tre nya RNN-modeller med uppmärksamhetsmekanismer, som uppnår goda resultat när det gäller urvalsuppgifter.
Inner Attention based Recurrent Neural Networks for Answer Selection
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}