Återkommande neurala nätverk (RNN) gradvis bearbeta data genom att uppdatera deras tillstånd med varje ny datapunkt, och har länge varit de facto valet för sekvensmodellering uppgifter. Men deras i sig sekventiella beräkning gör dem långsamma att träna. Feed-forward och convolutional arkitekturer har nyligen visat sig uppnå överlägsna resultat på vissa sekvensmodellering uppgifter som maskinöversättning, med den extra fördelen att de samtidigt bearbeta alla ingångar i sekvensen, vilket leder till enkel parallellisering och snabbare träningstider. Trots dessa framgångar lyckas dock populära feed-forward sekvensmodeller som Transformer inte generalisera i många enkla uppgifter som återkommande modeller hanterar enkelt, t.ex. kopiera strängar eller till och med enkel logisk slutledning när strängen eller formeln längder överskrider de observerade vid träningstid. Vi föreslår Universal Transformer (UT), en parallell-i-tid självuppmärksam återkommande sekvensmodell som kan användas som en generalisering av Transformer-modellen och som tar upp dessa frågor. Uts kombinerar parallellisability och globalt mottagligt fält av feed-forward sekvens modeller som Transformer med återkommande induktiva fördomar av RNNs. Vi lägger också till en dynamisk mekanism för att stoppa perposition och finner att den förbättrar noggrannheten på flera uppgifter. I motsats till standardtransformer, kan enligt vissa antaganden UTs visas vara Turing-fullständig. Våra experiment visar att UTs överträffar standard Transformers på ett brett spektrum av algoritmiska och språkförståelse uppgifter, inklusive den utmanande LAMBADA språkmodellering uppgift där UTs uppnå en ny state of the art, och maskinöversättning där UTs uppnå en 0,9 BLEU förbättring över Transformers på WMT14 En-De dataset.
Universal Transformers REF föreslår en självuppmärksam återkommande sekvensmodell som tar itu med detta problem.
Universal Transformers
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}