Nyligen, icke-recurrent arkitekturer (konvolutionell, självuppmärksamhet) har överträffat RNNs i neural maskinöversättning. CNN:er och självanslutna nätverk kan ansluta avlägsna ord via kortare nätverksvägar än RNN:er, och det har spekulerats om att detta förbättrar deras förmåga att modellera långdistansberoenden. Detta teoretiska argument har dock inte prövats empiriskt, och inte heller har alternativa förklaringar till deras starka resultat undersökts ingående. Vi antar att den starka prestanda CNN och självuppmärksamma nätverk också kan bero på deras förmåga att extrahera semantiska funktioner från källtexten, och vi utvärderar RNNs, CNNs och självuppmärksamhet nätverk på två uppgifter: subjekt-verb-avtal (där fånga långa avstånd beroenden krävs) och ord sense disambigation (där semantisk funktion extraktion krävs). Våra experimentella resultat visar att: 1) självuppmärksamhet nätverk och CNNs inte överträffar RNNs i modellering subject-verb överenskommelse över långa avstånd; 2) självuppmärksamhet nätverk presterar tydligt bättre än RNNs och CNNs på word sense disambiguation.
REF visar Transformer-nätverken presterar bättre än RNNs på ord sense disambigation.
Why Self-Attention? A Targeted Evaluation of Neural Machine Translation Architectures
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}