Öka modellstorleken när förutbildning av naturliga språk representationer ofta resulterar i bättre prestanda i nedströms uppgifter. Vid något tillfälle blir dock ytterligare modellökningar svårare på grund av GPU/TPU-minnesbegränsningar, längre träningstider och oväntad modellnedbrytning. För att ta itu med dessa problem presenterar vi två parameterreducerande tekniker för att minska minnesförbrukningen och öka träningshastigheten för BERT (Devlin et al., 2019). Omfattande empiriska belägg visar att våra föreslagna metoder leder till modeller som skalar sig mycket bättre jämfört med den ursprungliga BERT. Vi använder också en självövervakad förlust som fokuserar på att modellera inter-sentence samstämmighet, och visa det konsekvent hjälper nedströms uppgifter med multi-sentence ingångar. Som ett resultat av detta fastställer vår bästa modell nya state-of-the-art resultat på GLUE, RACE och SQuAD-riktmärken samtidigt som de har färre parametrar jämfört med BERT-stor.
Ett annat parallellt arbete, AlBERT REF utnyttjar tvärskiktsparameterdelning för att påskynda utbildningen och uppnå nya toppmoderna resultat med 233M-parametrar.
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}