Transformatornätverk har potential att lära sig längre tids beroende, men begränsas av ett tidsbundet sammanhang när det gäller språkmodellering. Som lösning föreslår vi en ny neural arkitektur, Transformer-XL, som gör det möjligt för Transformer att lära sig beroende bortom en fast längd utan att störa tidssammanhållningen. Konkret består den av en mekanism för återfall på segmentsnivå och ett nytt system för positionskodning. Vår metod gör det inte bara möjligt att fånga ett mer långsiktigt beroende, utan löser också problemet med fragmentering i sammanhanget. Som ett resultat, Transformer-XL lär beroende som är cirka 80% längre än RNNs och 45% längre än vanilj Transformers, uppnår bättre prestanda på både korta och långa sekvenser, och är upp till 1.800 + gånger snabbare än vanilj Transformer under utvärdering. Dessutom förbättrar vi toppmoderna (Sota) resultat av bpc/perplexitet från 1,06 till 0,99 på enwiki8, från 1.13 till 1.08 på text8, från 20.5 till 18.3 på WikiText-103, från 23,7 till 21,8 på ett miljardord och från 55,3 till 54,5 på Penn Treebank (utan finjustering). Våra kod, pretränade modeller och hyperparametrar finns i både Tensorflow och PyTorch 1. * Lika lön. Order bestäms genom att byta den i Yang et al. (2017).................................................................
REF tar itu med problemet med att gå längre än till en situation med fasta längder genom att lägga till upprepningar till självuppmärksamhetsmodellen.
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}