Vi föreslår en ny självuppmärksamhetsmekanism som kan lära sig sin optimala uppmärksamhet. Detta gör det möjligt för oss att avsevärt utöka den maximala kontextstorlek som används i Transformer, samtidigt som vi behåller kontrollen över deras minnesavtryck och beräkningstid. Vi visar effektiviteten i vår strategi för uppgiften att teckennivå språkmodellering, där vi uppnår state-of-the-art föreställningar på text8 och enwiki8 genom att använda en maximal kontext av 8k tecken.
Mer nyligen, Sukhbaatar et al. REF lägger till en inlärningsbar självuppmärksamhetsspann för att utvidga sammanhangets storlek.
Adaptive Attention Span in Transformers
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}