Transformatorer är kraftfulla sekvensmodeller, men kräver tid och minne som växer kvadratiskt med sekvenslängden. I detta dokument introducerar vi glesa faktoriseringar av den uppmärksamhetsmatris som minskar detta till O (n ε n). Vi introducerar också a) en variation på arkitektur och initiering för att träna djupare nätverk, b) recomputation av uppmärksamhet matriser för att spara minne, och c) snabba uppmärksamhetskärnor för utbildning. Vi kallar nätverk med dessa förändringar Sparse Transformers, och visar att de kan modellera sekvenser tiotusentals tidssteg lång med hjälp av hundratals lager. Vi använder samma arkitektur för att modellera bilder, ljud och text från råa bytes, vilket skapar ett nytt state of the art för densitetsmodellering av Enwik8, CIFAR-10 och ImageNet-64. Vi genererar villkorslösa prover som visar global samstämmighet och stor mångfald, och visar att det i princip är möjligt att använda självuppmärksamhet för att modellera sekvenser av längd en miljon eller mer.
REF minskar komplexiteten i uppmärksamheten på O(n) genom att endast delta i en liten förutbestämd undergrupp av platser.
Generating Long Sequences with Sparse Transformers
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}