Contextualized representation modeller såsom ELMo (Peters et al., 2018a) och BERT (Devlin et al., 2018) har nyligen uppnått state-of-the-art resultat på en mängd olika nedströms NLP uppgifter. Med utgångspunkt i den senaste undersökningen på token-nivå introducerar vi en ny kantprobing uppgiftsdesign och konstruerar en bred uppsättning sub-sentence uppgifter som härrör från den traditionella strukturerade NLP pipeline. Vi undersöker kontextuella framställningar på ordnivå från fyra nya modeller och undersöker hur de kodar meningsstruktur över en rad syntaktiska, semantiska, lokala och långdistansfenomen. Vi finner att befintliga modeller som är utbildade på språkmodellering och översättning ger starka representationer för syntaktiska fenomen, men bara erbjuder jämförelsevis små förbättringar av semantiska uppgifter över en icke-kontextuell baslinje.
REF fann att alla modeller producerade starka representationer för syntaktiska fenomen, men fick mindre prestandaförbättringar på baslinjerna i de mer semantiska uppgifterna.
What do you learn from context? Probing for sentence structure in contextualized word representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}