Sammanhangsord representationer som härrör från storskaliga neurala språk modeller är framgångsrika över en mängd olika NLP uppgifter, vilket tyder på att de kodar användbara och överförbara funktioner i språket. För att belysa den språkliga kunskap de fångar, studerar vi de representationer som framställts av flera nyligen utbildade kontextualizers (varianter av ELMo, OpenAI transformator språkmodell, och BERT) med en svit av sexton olika undersökningsuppgifter. Vi finner att linjära modeller som är utbildade utöver frysta kontextuella representationer är konkurrenskraftiga med toppmoderna uppgiftsspecifika modeller i många fall, men misslyckas med uppgifter som kräver finkornig språklig kunskap (t.ex. konjunktiv identifiering). För att undersöka överförbarheten av kontextuella ord representationer, kvantifierar vi skillnader i överförbarheten av enskilda lager inom kontextualizers, särskilt mellan återkommande neurala nätverk (RNN) och transformatorer. Till exempel är högre lager av RNN mer uppgiftsspecifika, medan transformatorskikt inte uppvisar samma monotona trend. Dessutom, för att bättre förstå vad som gör kontextuella ordrepresentationer överförbara, jämför vi språkmodell förutbildning med elva övervakade förutbildningsuppgifter. För varje uppgift ger förutbildningen på en närbesläktad uppgift bättre prestanda än språkmodellens förutbildning (vilket är bättre i genomsnitt) när förutbildningens datauppsättning är fast. Språkmodellens förutbildning om mer data ger dock de bästa resultaten.
REF använder sjutton olika undersökningsuppgifter och observerar att linjära modeller som är utbildade utöver frysta kontextuella representationer är konkurrenskraftiga med toppmoderna uppgiftsspecifika modeller i många fall, men misslyckas med uppgifter som kräver finkornig språklig kunskap.
Linguistic Knowledge and Transferability of Contextual Representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}