Vi presenterar ett nytt tillvägagångssätt för förutbildning av en tvåvägstransformatormodell som ger betydande resultatvinster över en mängd språkförståelseproblem. Vår modell löser ett kloze-stil ord rekonstruktion uppgift, där varje ord är bortblåst och måste förutsägas med tanke på resten av texten. Experiment visar stora resultatvinster på GLUE och nya toppresultat på NER samt valmanstolkande riktmärken, i linje med den samtidigt införda BERT-modellen. Vi presenterar också en detaljerad analys av ett antal faktorer som bidrar till effektiv förutbildning, inklusive datadomän och storlek, modellkapacitet, och variationer i kloze-målet.
REF presenterar en förträngd tvåvägstransformatormodell med hjälp av kloze-stil ord rekonstruktion uppgift.
Cloze-driven Pretraining of Self-attention Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}