Stora Transformer-modeller uppnår rutinmässigt toppmoderna resultat på ett antal uppgifter, men utbildning av dessa modeller kan vara oöverkomligt kostsamt, särskilt på långa sekvenser. Vi introducerar två tekniker för att förbättra effektiviteten hos Transformers. För en, vi ersätter dot-produkt uppmärksamhet med en som använder locality-känslig hashing, ändra dess komplexitet från O(L 2 ) till O(L log L), där L är längden på sekvensen. Dessutom använder vi reversibla restlager istället för standardrester, vilket gör det möjligt att lagra aktiveringar endast en gång i träningsprocessen istället för N gånger, där N är antalet lager. Den resulterande modellen, reformatorn, fungerar på samma sätt som Transformer-modeller samtidigt som den är mycket mer minneseffektiv och mycket snabbare på långa sekvenser. * Lika bidrag 1 https://hackningsemantics.xyz/2019/leaderboards/ arXiv:2001.04451v1 [cs. LG] 13 jan 2020 Publicerad som konferensbidrag på ICLR 2020 Vi introducerar reformatormodellen som löser dessa problem med hjälp av följande tekniker:
Reformer REF använder lokalkänslig hash för ungefärlig uppmärksamhet i tid O(n log n).
Reformer: The Efficient Transformer
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}