Vi introducerar en ny språklig representationsmodell kallad BERT, som står för dubbelriktade Encoder Representationer från Transformers. Till skillnad från senaste språk representation modeller (Peters et al., 2018; Radford et al., 2018), BERT är utformad för att pre-training djupa dubbelriktade representationer genom att gemensamt konditionering på både vänster och höger sammanhang i alla lager. Som ett resultat, kan de förtränade BERT representationer finjusteras med bara ett ytterligare utdatalager för att skapa state-of-theart modeller för ett brett spektrum av uppgifter, såsom frågesvar och språk inference, utan betydande uppgiftsspecifika arkitekturändringar. BERT är konceptuellt enkelt och empiriskt kraftfullt. Det får nya state-of-the-art resultat på elva naturliga språk bearbetningsuppgifter, inklusive att driva GLUE-riktmärket till 80,4 % (7,6 % absolut förbättring), MultiNLI noggrannhet till 86,7 % (5,6 % absolut förbättring) och SQuAD v1.1 frågesvar Test F1 till 93,2 (1,5 absolut förbättring), presterande mänskliga prestanda med 2,0.
Nyligen använder BERT REF dubbelriktade transformatorkodare för att pre-trainera en stor corpus, och finjusterar den förtränade modellen som kräver nästan ingen specifik arkitektur för varje slutuppgift.
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}