Trots den utbredda användningen av Transformer-modeller för NLP-uppgifter är dessa modellers uttryckskraft inte väl underförstådd. I detta dokument fastställer vi att Transformatormodeller är universella approximer av kontinuerlig permutationslikvariant sekvens-till-sekvens funktioner med kompakt stöd, vilket är ganska förvånande med tanke på mängden delade parametrar i dessa modeller. Dessutom, med hjälp av positionskodningar, kringgår vi begränsningen av permutationsjämlikhet, och visar att Transformer modeller kan universellt approximation godtyckliga kontinuerliga sekvens-till-sekvens funktioner på en kompakt domän. Intressant nog belyser våra bevistekniker tydligt de olika rollerna hos självuppmärksamheten och feed-forward-lagren i Transformers. I synnerhet, vi bevisar att fast bredd själv-attention lager kan beräkna kontextuella kartläggningar av ingångssekvenser, spelar en nyckelroll i den universella approximation egenskapen Transformers. Baserat på denna insikt från vår analys, överväger vi andra enklare alternativ till selfattention lager och empiriskt utvärdera dem. p p dX 1/p. Följande resultat visar att ett Transformer-nätverk med ett konstant antal huvuden h, huvudstorlek m, och dolda lager av storlek r kan approximera alla funktioner i F PE. 1 I vårt bevis använder vi snedvektorer b i Q för frågeprojektioner i uppmärksamhetslager. Vi utelämnar dem här för korthet. Publicerad som konferensbidrag på ICLR 2020 Lukasz Kaiser, Aidan N Gomez och Francois Chollet. Djupvis separerbara konvolutioner för neural maskin översättning. ArXiv preprint arXiv:1706.03059, 2017. Hongzhou Lin och Stefanie Jegelka. ResNet med en-neuron dolda lager är en universell approximator.. En bred-coverage utmaning corpus för mening förståelse genom inference. I. Anpassa böcker och filmer: Mot berättelseliknande visuella förklaringar genom att titta på filmer och läsa böcker. Om ja, varsågod.
REF studerade Transformers representationskraft och visade att de är universella catimatorer av sekvens till sekvensfunktioner.
Are Transformers universal approximators of sequence-to-sequence functions?
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}