Medan neural maskinöversättning (NMT) modeller ger förbättrad översättningskvalitet i en elegant, end-to-end ram, är det mindre tydligt vad de lär sig om språk. Det senaste arbetet har börjat utvärdera kvaliteten på vektorrepresentationer som NMT-modeller lärt sig om morfologiska och syntaktiska uppgifter. I detta dokument undersöker vi de framställningar som man lärt sig vid olika lager av NMT-kodare. Vi utbildar NMT-system på parallella data och använder de utbildade modellerna för att extrahera funktioner för att träna en klassificering på två uppgifter: del av tal och semantisk taggning. Därefter mäter vi klassificeringsgivarens prestanda som en proxy till kvaliteten på den ursprungliga NMT-modellen för den givna uppgiften. Vår kvantitativa analys ger intressanta insikter om representationsinlärning i NMT-modeller. Till exempel finner vi att högre lager är bättre på att lära semantik medan lägre lager tenderar att vara bättre för del-av-tal taggning. Vi observerar också liten effekt av målspråket på källsidan representationer, särskilt med högre kvalitet NMT modeller. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
När det gäller NMT-system visade REF att RNN i de högre skikten i NMT-modellerna specialiserade sig på mer abstrakta uppgifter för semantisk taggning medan de lägre skikten lagrade och spårade en del av taltaggar.
Evaluating Layers of Representation in Neural Machine Translation on Part-of-Speech and Semantic Tagging Tasks
{'venue': 'IJCNLP 8 (2017), volume 1, 1-10', 'journal': None, 'mag_field_of_study': ['Computer Science']}