Semantisk rollmärkning (SRL) anses vara ett avgörande steg mot förståelse för naturligt språk och har studerats i stor utsträckning. De senaste åren, end-to-end SRL med återkommande neurala nätverk (RNN) har fått ökad uppmärksamhet. Det är dock fortfarande en stor utmaning för RNN att hantera strukturell information och beroenden på lång sikt. I detta dokument presenterar vi en enkel och effektiv arkitektur för SRL som syftar till att ta itu med dessa problem. Vår modell är baserad på självuppmärksamhet som direkt kan fånga relationen mellan två polletter oavsett avstånd. Vår enda modell uppnår F1 = 83.4 på CoNLL-2005 delade uppgiftsdataset och F1 = 82,7 på CoNL-2012 delade uppgiftsdataset, vilket överträffar de tidigare toppmoderna resultaten med 1,8 respektive 1,0 F1-poäng. Dessutom är vår modell beräkningseffektiv, och tolkningshastigheten är 50K tokens per sekund på en enda Titan X GPU.
REF tillämpar självuppmärksamhet i semantiska rollmärkning uppgift.
Deep Semantic Role Labeling with Self-Attention
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}