Nuvarande toppmoderna semantiska rollmärkning (SRL) använder ett djupt neuralt nätverk utan några tydliga språkliga egenskaper. Men tidigare arbete har visat att guld syntax träd kan dramatiskt förbättra SRL avkodning, tyder på möjligheten av ökad noggrannhet från explicit modellering av syntax. I detta arbete presenterar vi språkligt informerad självuppmärksamhet (LISA): en neural nätverksmodell som kombinerar multi-head självuppmärksamhet med multi-task lärande över beroende tolkning, del-av-tal taggning, predikering detektion och SRL. Till skillnad från tidigare modeller som kräver betydande förbearbetning för att förbereda språkliga funktioner, kan LISA införliva syntax med endast rå tokens som ingång, kodar sekvensen bara en gång för att samtidigt utföra tolkning, predicera detektion och rollmärkning för alla predikat. Syntax inkorporeras genom att man övar ett uppmärksamhetshuvud att ta hand om syntaktiska föräldrar för varje token. Dessutom, om en högkvalitativ syntaktisk pars redan finns tillgänglig, kan den med fördel injiceras vid testtillfället utan att omskola vår SRL-modell. I experiment på CONLL-2005 SRL uppnår LISA nya state-of-the-art prestanda för en modell med predikterade predikat och standard ord inbäddningar, uppnå 2,5 F1 absolut högre än den tidigare state-of-the-art på newswire och mer än 3,5 F1 på out-domain data, nästan 10% minskning av fel. På CLL-2012 engelska SRL visar vi också en förbättring på mer än 2,5 F1. LISA överträffar också den senaste tekniken med kontextuellt kodade (ELMo) ord representationer, med nästan 1,0 F1 på nyheter och mer än 2,0 F1 på out-of-domain text.
REF presenterar en ny och effektiv multi-head själv-attention modell för att införliva syntax, som kallas LISA (Linguistically-Informate Själv-Attention).
Linguistically-Informed Self-Attention for Semantic Role Labeling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}