Med förmågan att modellera dubbelriktade sammanhang, denoising autoencoding baserad förutbildning som BERT uppnår bättre prestanda än pretraining metoder baserade på autoregressiva språkmodellering. Men att förlita sig på att korrumpera indata med masker, BERT försummar beroendet mellan de maskerade positioner och lider av en pretrain-finetune diskrepans. Mot bakgrund av dessa för- och nackdelar föreslår vi XLNet, en generaliserad autoregressiv förträningsmetod som (1) gör det möjligt att lära sig dubbelriktade sammanhang genom att maximera den förväntade sannolikheten för alla permutationer av faktoriseringsordningen och (2) övervinner begränsningarna av BERT tack vare dess autoregressiva formulering. Dessutom integrerar XLNet idéer från Transformer-XL, den toppmoderna autoregressiva modellen, i förutbildningen. Empiriskt, XLNet överträffar BERT på 20 uppgifter, ofta med stor marginal, och uppnår state-of-the-art resultat på 18 uppgifter inklusive frågor svar, naturligt språk inference, känslor analys, och dokument ranking. 1................................................................
Ref använde modeller för högre kapacitet och förbättrade de senaste resultaten.
XLNet: Generalized Autoregressive Pretraining for Language Understanding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}