Vi introducerar en ny språklig representationsmodell kallad BERT, som står för dubbelriktade Encoder Representationer från Transformers. Till skillnad från senaste språk representation modeller (Peters et al., 2018; Radford et al., 2018), BERT är utformad för att pre-training djupa dubbelriktade representationer genom att gemensamt konditionering på både vänster och höger sammanhang i alla lager. Som ett resultat, kan de förtränade BERT representationer finjusteras med bara ett ytterligare utdatalager för att skapa state-of-theart modeller för ett brett spektrum av uppgifter, såsom frågesvar och språk inference, utan betydande uppgiftsspecifika arkitekturändringar. BERT är konceptuellt enkelt och empiriskt kraftfullt. Det får nya state-of-the-art resultat på elva naturliga språk bearbetningsuppgifter, inklusive att driva GLUE-riktmärket till 80,4 % (7,6 % absolut förbättring), MultiNLI noggrannhet till 86,7 % (5,6 % absolut förbättring) och SQuAD v1.1 frågesvar Test F1 till 93,2 (1,5 absolut förbättring), presterande mänskliga prestanda med 2,0.
BERT REF som modell av förtränade djupa dubbelriktade representationer har visat utmärkt prestanda och satt det nya tillståndet för konsten på olika NLP uppgifter, inklusive MRC.
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}