Många naturliga språk bearbetning uppgifter enbart förlitar sig på glesa beroenden mellan några polletter i en mening. Mekanismer för mjuk uppmärksamhet visar lovande resultat när det gäller att modellera lokala/globala beroenden genom mjuka sannolikheter mellan två polletter, men de är inte effektiva och effektiva när de tillämpas på långa meningar. Däremot, hård uppmärksamhet mekanismer väljer direkt en del av polletter men är svåra och ineffektiva att träna på grund av deras kombinatoriska natur. I detta dokument integrerar vi både mjuk och hård uppmärksamhet i en sammanhangsbaserad fusionsmodell, "förstärkt självupptagenhet (ReSA)", till ömsesidig nytta för varandra. I ReSA trimmar en hård uppmärksamhet en sekvens för en mjuk självuppmärksamhet att bearbeta, medan den mjuka uppmärksamheten matar belöningssignaler tillbaka för att underlätta träning av den hårda. För detta ändamål utvecklar vi en ny hård uppmärksamhet kallad "förstärkt sekvensprovtagning (RSS)", som väljer polletter parallellt och tränas via policygradient. Med hjälp av två RSS-moduler extraherar ReSA effektivt de glesa beroendena mellan varje par valda tokens. Slutligen föreslår vi en RNN/CNN-fri meningskodningsmodell, "förstärkt självupptagna nätverk (ReSAN)", enbart baserad på ReSA. Det uppnår state-of-the-art prestanda på både Stanford Natural Language Inference (SNLI) och domar Involving Compositional Knowledge (SICK) dataset.
I Ref föreslogs ett förstärkt nätverk för självbetjäning (Resan), som integrerar både mjuk och hård uppmärksamhet i ett sammanhang med förstärkt lärande.
Reinforced Self-Attention Network: a Hybrid of Hard and Soft Attention for Sequence Modeling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}