Vi introducerar en förlängning till påse-ofwords modell för att lära ord representationer som tar hänsyn till både syntaktiska och semantiska egenskaper inom språket. Detta görs genom att använda en uppmärksamhetsmodell som finner i kontextuella ord, de ord som är relevanta för varje förutsägelse. Den allmänna intuitionen i vår modell är att vissa ord bara är relevanta för att förutsäga lokala sammanhang (t.ex. Funktionsord), medan andra ord är mer lämpade för att bestämma det globala sammanhanget, t.ex. dokumentets ämne. Experiment som utförs på både semantiskt och syntaktiskt orienterade uppgifter visar vinster med hjälp av vår modell över den befintliga påsen med ordmodell. Dessutom, jämfört med andra mer sofistikerade modeller, skalar vår modell bättre när vi ökar storleken på sammanhanget för modellen.
Till exempel Ling et al. föreslog en uppmärksamhetsmodell för att hitta de kontextuella ord som är relevanta för varje förutsägelse Ref.
Not All Contexts Are Created Equal: Better Word Representations with Variable Attention
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}