Sammanhangsanpassade ordinbäddningar som härrör från förträngda språkmodeller visar betydande förbättringar av NLP-uppgifter nedströms. Pre-utbildning på domänspecifika corpora, såsom biomedicinska artiklar, förbättrar ytterligare deras prestanda. I detta dokument genomför vi undersökningsexperiment för att avgöra vilka ytterligare uppgifter som i sig bärs av de in-domänutbildade kontextualiserade inbäddningarna. För detta använder vi de förtränade LMs som fasta funktionsextraktorer och begränsar aktivitetsmodellerna nedströms till att inte ha ytterligare sekvensmodelleringslager. Vi jämför BERT (Devlin et al., 2018), ELMo (Peters et al., 2018a), BioBERT (Lee et al., 2019) och BioELMo, en biomedicinsk version av ELMo utbildad på 10M PubMed abstracts. Överraskande, medan finjusterad BioBERT är bättre än BioELMo i biomedicinska NER och NLI uppgifter, som en fast funktion extraktor BioELMo överträffar BioBERT i våra undersökningsuppgifter. Vi använder visualisering och närmaste granne analys för att visa att bättre kodning av entitet-typ och relationell information leder till denna överlägsenhet.
I denna uppsats använder vi BioELMo, som är en biomedicinsk version av ELMo utbildad på 10M PubMed abstracts REF.
Probing Biomedical Embeddings from Language Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}