Vi visar att ersättandet av en LSTM-kodare med en självuppmärksam arkitektur kan leda till förbättringar av en toppmodern diskriminativ valkretstolk. Användningen av uppmärksamhet tydliggör hur information sprids mellan olika platser i meningen, som vi använder för att både analysera vår modell och föreslå potentiella förbättringar. Vi finner till exempel att separation av positions- och innehållsinformation i kodaren kan leda till förbättrad tolkningsnoggrannhet. Dessutom utvärderar vi olika tillvägagångssätt för lexikal representation. Vår tolk uppnår nya toppmoderna resultat för enskilda modeller utbildade på Penn Treebank: 93.55 F1 utan användning av externa data, och 95.13 F1 vid användning av förtränade ord representationer. Vår tolk överträffar också de tidigare bäst publicerade noggrannhetssiffrorna på 8 av de 9 språken i SPMRL-datasetet.
REF använder självuppmärksamhetskodaren i stället för LSTM för att förbättra en diskriminerande valmanstolk och uppnå toppmoderna resultat med deras tillvägagångssätt.
Constituency Parsing with a Self-Attentive Encoder
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}