Vi presenterar SpanBERT, en förutbildningsmetod som är utformad för att bättre representera och förutsäga spännvidder av text. Vårt tillvägagångssätt utvidgar BERT genom (1) maskering sammanhängande slumpmässiga spännvidder, snarare än slumpmässiga polletter, och (2) utbildning spänngräns representationer för att förutsäga hela innehållet i den maskerade spännvidd, utan att förlita sig på de enskilda symboliska representationer inom den. Span-BERT överträffar konsekvent BERT och våra bättre anpassade baslinjer, med betydande vinster på spännurvalsuppgifter som frågesvar och samreferenslösning. Med samma träningsdata och modellstorlek som BERT-large får vår enda modell 94,6 % respektive 88,7 % F1 på SQuAD 1.1 respektive 2,0. Vi uppnår också en ny topp på OntoNotes coreferens resolution uppgift (79,6% F1), starka resultat på TACRED relation utvinning riktmärke, och även visa vinster på GLUE.
SpanBERT REF fokuserar på pretraining spännrepresentationer som uppnår aktuella toppresultat på OntoNotes med den oberoende varianten.
SpanBERT: Improving Pre-training by Representing and Predicting Spans
{'venue': 'Transactions of the Association for Computational Linguistics', 'journal': 'Transactions of the Association for Computational Linguistics', 'mag_field_of_study': ['Computer Science']}