Detta dokument beskriver hur man tillämpar självbetjäning med relativa positionskodningar på uppgiften relationsextraktion. Vi föreslår att self-attention encoder lagret tillsammans med en ytterligare positionär medveten uppmärksamhet lager som tar hänsyn till positioner i frågan och objektet i meningen. Self-attention encoder använder också en anpassad implementation av relativa positionskodningar som tillåter varje ord i meningen att ta hänsyn till sin vänstra och högra sammanhang. Utvärderingen av modellen görs på datauppsättningen TACRED. Den föreslagna modellen bygger endast på uppmärksamhet (inga återkommande eller konvolutionella skikt används), samtidigt som prestandan förbättras w.r.t. Den senaste tekniken.
Ref tillämpade först självuppmärksamhet kodare för relation extraktion uppgift och uppnådde konkurrenskraftiga resultat på TACRED dataset.
Position-aware Self-attention with Relative Positional Encodings for Slot Filling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}