Att få storskaliga kommenterade data för NLP-uppgifter inom det vetenskapliga området är utmanande och dyrt. Vi släpper SCIBERT, en förskolad språkmodell baserad på BERT (Devlin et al., 2019) för att ta itu med bristen på högkvalitativa, storskaliga märkta vetenskapliga data. SCIBERT utnyttjar oövervakad förutbildning i en stor rad vetenskapliga publikationer för att förbättra prestandan i senare led av vetenskapliga NLP-uppgifter. Vi utvärderar på en svit av uppgifter inklusive sekvensmärkning, mening klassificering och beroende tolkning, med dataset från en mängd olika vetenskapliga domäner. Vi uppvisar statistiskt signifikanta förbättringar jämfört med BERT och uppnår nya toppmoderna resultat på flera av dessa uppgifter. Kod och förträngda modeller finns på https://github. Europaparlamentets och rådets förordning (EG) nr 45/2001 av den 18 december 2000 om skydd för enskilda då gemenskapsinstitutionerna och gemenskapsorganen behandlar personuppgifter och om den fria rörligheten för sådana uppgifter (EGT L 8, 12.1.2001, s. 1).
SciBert På grund av bristen på kommenterade corpus inom det vetenskapliga området, är SciBert REF närvarande för att förbättra nedströms vetenskapliga NLP uppgifter.
SciBERT: A Pretrained Language Model for Scientific Text
{'venue': 'EMNLP/IJCNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}