I detta arbete föreslår vi Attentive Pooling (AP), en dubbelriktad mekanism för diskriminativ modellutbildning. I samband med parvis rankning eller klassificering med neurala nätverk gör AP det möjligt för pooling skiktet att vara medveten om det aktuella indataparet, på ett sätt som information från de två indataobjekten direkt kan påverka beräkningen av varandras representationer. Tillsammans med sådana representationer av de parade indata lär sig AP gemensamt en likhetsmått över projicerade segment (t.ex. trigrams) av paret, och därefter, härleder motsvarande uppmärksamhet vektor för varje inmatning för att styra poolen. Vår dubbelriktade uppmärksamhetsmekanism är en allmän ram oberoende av det underliggande representationslärandet, och den har tillämpats på både konvolutionella neurala nätverk (CNN) och återkommande neurala nätverk (RNN) i våra studier. De empiriska resultaten, från tre mycket olika referensuppgifter för frågesvar/svarsval, visar att våra föreslagna modeller överträffar en rad starka baslinjer och uppnår toppmoderna resultat i alla riktmärken.
AP-LSTM, AP-CNN REF bygger på dubbelriktade uppmärksamhetsmekanismer för diskriminativ modellutbildning (CNN, RNN, LSTM).
Attentive Pooling Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}