Transformatornätverk har lett till viktiga framsteg inom språkmodellering och maskinöversättning. Dessa modeller omfattar två på varandra följande moduler, ett feedforward-lager och ett självbetjäningsskikt. Det senare gör det möjligt för nätverket att fånga långsiktiga beroenden och betraktas ofta som den viktigaste ingrediensen i framgången för Transformers. Med utgångspunkt i denna intuition föreslår vi en ny modell som enbart består av uppmärksamhetslager. Mer exakt, vi utökar själv-attention lager med ihållande minnesvektorer som spelar en liknande roll som feed-forward lager. Tack vare dessa vektorer kan vi ta bort feed-forward-lagret utan att försämra prestandan hos en transformator. Vår utvärdering visar fördelarna med vår modell på standardtecken och språkmodellering på ordnivå.
Ett annat nytt arbete REF tog bort feed-forward-lagret i Transformer-blocket och utökade självuppmärksamhetsskikten med en form av ihållande minne vars syfte liknar feed-forward-lagret.
Augmenting Self-attention with Persistent Memory
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}