Förtränade textkodare har snabbt avancerat den senaste tekniken på många NLP-uppgifter. Vi fokuserar på en sådan modell, BERT, och strävar efter att kvantifiera var språklig information fångas inom nätverket. Vi finner att modellen representerar stegen i den traditionella NLP-ledningen på ett tolkningsbart och lokalt möjligt sätt, och att de regioner som ansvarar för varje steg visas i den förväntade sekvensen: POS-märkning, tolkning, NER, semantiska roller, sedan samreferens. Kvalitativ analys visar att modellen kan och ofta anpassar denna rörledning dynamiskt och reviderar beslut på lägre nivå på grundval av oklar information från representationer på högre nivå.
REF använder edge probing task svit för att undersöka hur de olika skikten i BERT-nätverket kan lösa syntaktisk och semantisk struktur inom en mening, och finner att modellen representerar stegen i den traditionella NLP-ledningen på ett tolkningsbart och lokalt möjligt sätt, och att de regioner som ansvarar för varje steg visas i den förväntade sekvensen: POS taggning, tolkning, NER, semantiska roller, sedan samreferens.
BERT Rediscovers the Classical NLP Pipeline
{'venue': 'Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (2019) 4593-4601', 'journal': None, 'mag_field_of_study': ['Computer Science']}