Självuppmärksamhetsnätverk har visat sig vara av stort värde för sin styrka att fånga globala beroenden. I detta arbete föreslår vi att man ska modellera lokaliteten för självupptagna nätverk, vilket ökar förmågan att fånga upp ett användbart lokalt sammanhang. Vi kastar lokalitet modellering som en lärbar Gaussian fördomar, vilket indikerar den centrala och omfattning av den lokala regionen att ägnas mer uppmärksamhet. Fördomarna inkorporeras sedan i den ursprungliga uppmärksamhetsfördelningen för att bilda en reviderad fördelning. För att behålla styrkan i att fånga långdistansberoenden och förbättra förmågan att fånga kortdistansberoenden tillämpar vi endast lokalmodellering på lägre skikt av självupptagna nätverk. Kvantitativa och kvalitativa analyser av kinesiska och engelska tyska översättningsuppgifter visar effektiviteten och universaliteten i det föreslagna tillvägagångssättet.
Yang m.fl. föreslå en modell för lokalitet för självuppmärksamhet som skulle bidra till att fånga upp lokal information genom att lära sig en Gaussisk partiskhet som förutsäger regionen för lokal uppmärksamhet REF.
Modeling Localness for Self-Attention Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}